近日,AI换脸诈骗事件频发,“马斯克预言”印证时刻比预期来的早了些。两个月前,马斯克等千人签署联名信,呼吁停训更强大的AI系统六个月,理由是担心更强大的AI系统会对社会和人类构成潜在风险,不曾想风险已经侵入人类生活。
5月22日,话题“AI诈骗正在全国爆发”冲上热搜榜。继福建某科技公司老板被冒充好友的骗子通过AI换脸技术,在10分钟内被骗走430万元之后,又一安徽男子在仅9秒内被使用AI换脸技术的骗子骗走132万,网友直呼“防不胜防”。
(资料图片)
北京华让律师事务所律师夏博涵对搜狐科技表示,“该行为构成诈骗罪,依据诈骗数额不等,最高可判处无期徒刑。对于深度合成服务提供者,依据《互联网信息服务深度合成管理规定》,应制定和公开完善的管理规则、平台公约,依法履行管理职责,采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核。”
据悉,除了AI换脸视频诈骗,某些电商主播利用AI换脸技术伪装成“成龙”、“杨幂”等明星直播带货,从而引流并节省直播成本。抖音平台相关人员对搜狐科技表示,“平台不允许换脸直播,如发现会直接断播,且会对侵权商家进行信誉分扣除的处置,对于被处置后仍换脸直播的账户,将限制其直播权限。”
技术引发的风险问题最终还需要用技术手段去补救,值得欣慰的是,随着AI换脸越来越多地被滥用,用于识别AI换脸技术的新模型也应用而生。
“AI换脸”是怎么实现的?
AI换脸技术的研发初心是用于影视娱乐、游戏开发等领域,意在给用户提供更真实的观赏体验。
据了解,AI换脸技术实现原理主要包括人脸检测、人脸对齐、特征提取、特征融合、以及重建图像。
其中,人脸检测技术用于检测输入图像中的人脸位置和面部特征;人脸对齐技术利用仿射变化等技术,使不同人脸面部特征点位置相同;特征提取技术使用深度学习模型,例如卷积神经网络(CNN),提取面部形状、纹理、颜色等特征;特征融合技术使用线性插值或非线性插值变换方法,将两张不同人脸面部特征进行融合,生成新的面部特征;最后利用重建图像技术,将新的面部特征映射回图像空间中,生成一张具有换脸效果的新图像。
搜狐科技挑选了一款当前较为热门的“腾讯云AI人脸融合”应用作为测试软件,看一看“AI换脸”技术重塑人像能达到什么程度。
搜狐科技随机选择了一位男士图片作为模版图,用吴彦祖的图片作为选脸图,测试结果显示,经过AI处理后的男士人像眉眼间显露出吴彦祖的特点,但发型等面部以外的部分没有发生变化。
据包头警方披露,4月20日,福州市某科技公司法人代表郭先生的好友突然通过微信视频联系到他,两人经过短暂聊天后,好友告诉郭先生,自己的朋友在外地投标,需要430万元保证金,且需要公对公账户过账,所以想要借用郭先生公司的账户走一下账。好友向郭先生要了银行卡号,声称已经把钱打到郭先生的账户上,还把银行转账底单的截图通过微信发给了郭先生。基于视频聊天信任的前提下,郭先生没有核实钱是否到账,分先后分两笔把430万元给对方打了过去。钱款转账后,郭先生给好友微信发了一条消息,称事情已经办妥。但让他没想到的是,好友回过来的消息竟然是一个问号。
郭先生拨打好友电话,对方说没有这回事,他这才意识到竟然遇上了“高端”骗局,对方通过智能AI换脸技术,佯装成好友对他实施了诈骗。
IT技术人员向搜狐科技分析,有黑客专门研发AI实时换脸工具,和现在手机植入实时美颜一个道理。
罪犯可能利用漏洞盗取受害人好友的微信账号,通过社交平台获取受害人好友的照片或视频,用摄像头捕捉自己的面部特征,再利用实时AI换脸工具将受害人好友的面部特征与自己融合,佯装受害人好友进行交谈,以达到诈骗目的。
反制AI滥用的技术进展如何?
魔高一尺,道高一丈。2020年,微软亚洲研究院与北京大学曾共同发布的《Face X-ray for More General Face Forgery Detection》论文,用于甄别AI换脸技术的新模型Face X-Ray具备两大属性:能泛化到未知换脸算法、能提供可解释的换脸边界。
论文主创作者之一、微软亚洲研究院常务副院长郭百宁表示,“在图像采集过程中,每一张图像都有其独特的特征,它们可能来源于拍摄硬件,或者处理软件。只要不是一体生成的图像,它们在融合的过程中都会留下线索,这些线索人眼看不到,但深度学习能捕获。”
论文中展示了图像噪声分析与误差水平分析技术,可以看到真实图像展现出一致地噪声模式,而换脸明显会有所不同(a组图片为真脸,b组图片为合成图像,中间列为噪声分析图像,右侧一列是误差水平分析图像)。
据介绍,Anti-Deepfake分为被动式检测和主动式防御两大类,其中被动式检测技术侧重于事后取证,即针对已经制作并传播的视频进行检测,判别其是否属于伪造人脸视频;另一类主动式防御技术侧重于事前防御,即在人脸数据发布传播前添加隐藏信息,如水印、对抗噪声等,进行主动溯源或使得恶意使用者无法利用添加了噪声的人脸视频进行伪造,从而达到保护人脸,实现主动防御的目的。
国家网信办、工信部、公安部此前联合发布的《互联网信息服务深度合成管理规定》第六条明确,“任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息,不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动。”
夏博涵强调,“除AI换脸视频诈骗外,当前很多手机应用软件均需要刷脸认证,不法分子可能通过AI换脸技术将自己冒充成真正的权利人。这就需要我们严格保护好个人信息,防止外泄,同时建议设定其他多种身份验证方式。另一方面,软件供应商也需要在技术上进一步研发,提高安全系数,防范不法分子趁虚而入。”