警惕！研究发现Deepfake技术可骗过微软和亚马逊78%的面部识别

日前大火的Deepfake技术正在引起人工智能行业的关注：假冒的Tom Cruise抖音账号已吸粉32万，有三个视频点击破千万。开源工具使任何拥有受害者图像的人都可以创建令人信服的Deepfake。根据创业公司Deeptrace的数据，从2019年10月到2020年6月，网络上的Deepfake视频的数量增加了330％，高峰时达到了50,000多个。令人不安的不仅是因为这项技术可能会在选举期间用来影响舆论或将某人牵连到犯罪中，还因为它们已经被滥用于制造演员的色情材料并进行网络诈骗。

（针对商业人脸识别API的Deepfake假冒攻击和评估框架概述，图片摘自论文）

一项新的研究表明，生成Deepfake的技术已经可以可靠地欺骗商业面部识别服务。韩国水原成均馆大学的研究人员在预印本服务器Arxiv.org上发表的一篇论文中证明，可以使用常用的Deepfake视频来欺骗Microsoft和Amazon的API。在试验当中，其中一种API（Microsoft的Azure认知服务）对高达78%的Deepfake视频均无法辨认。

研究人员选择对微软和亚马逊的面部识别API进行基准测试，因为两家公司都提供识别名人面孔的服务。API会对测试的图像生成人脸相似性评分指标，从而可以比较其性能。而且由于名人脸部图像比普通人的脸部图像丰富，因此研究人员能够相对容易地从中产生Deepfake视频。Google通过其Cloud Vision API提供了名人识别功能，但研究人员表示，该公司拒绝了使用它的正式请求。

（几个对Web API识别能力的测试样本，图片摘自论文）

为了了解Deepfake可欺骗商业面部识别API的程度，研究人员使用了在五个不同数据集上训练的AI模型（三个可公开获得，而两个是他们自己创建的）。其中包含好莱坞电影明星，歌手，运动员和政治家。他们总共从数据集中创建了8,119个Deepfake视频。然后，他们在视频帧中提取了面孔，并让系统尝试判别出哪些是真正名人本人的照片。

研究人员发现，所有API都非常容易被Deepfake欺骗。Azure认知服务在78％的视频里误以为目标名人是本人，而亚马逊的Rekognition同样在68％的时间里无法识别出Deepfake的虚假性。Rekognition在40%的视频里将名人的Deepfake视频错认为另一位真实的名人，并且在3,200个Deepfake视频中，有902位的置信度得分高于同一名人的真实形象。在与Azure认知服务进行的一项实验中，研究人员成功地将100个名人中的94个Deepfake形象输入到一个开源数据集中。

“假设底层的面部识别API无法将Deepfake冒充者与真正的用户区分开，它可能导致许多隐私和安全风险，甚至是欺诈案件。”研究人员警告说， “如果有不怀好意者将语音和视频Deepfake技术组合在一起，以创建多维度的Deepfake，并用于进行更强大和更实际的网络钓鱼攻击……如果商业API无法过滤社交媒体上的Deepfake，就很可能导致虚假信息的广泛传播，伤及无辜。”

对于这一研究结果，微软和亚马逊拒绝置评。

为了打击Deepfake的传播，Facebook与亚马逊和微软等公司一起率先发起了Deepfake检测挑战赛。该挑战赛于去年6月结束。挑战赛发起后，主办方发布了与谷歌内部技术公司Jigsaw合作制作的大量视觉Deepfakes语料库，并将其纳入一个基准，免费提供给研究人员，用于合成视频检测系统开发。

最近，Microsoft在Video Authenticator中推出了自己的Deepfake-combing解决方案，该工具可以分析静态照片或视频，以提供这一视频是否被人为修改过的置信度评分。该公司还开发了Microsoft Azure内置的技术，该技术使内容生产者可以将元数据添加到内容中，还可以使用读取器检查元数据以使人们知道内容是真实的。

“我们预计，生成合成媒体的方法将继续变得越来越复杂。由于所有的AI检测方法都有失败率，我们必须了解并准备好应对那些漏网之鱼，” 微软副总裁Tom Burt在去年9月的博客中写道，“因此，从长远来看，我们必须寻求更强有力的方法来维护证明新闻报道和其他媒体的真实性。”

参考资料：

https://venturebeat.com/2021/03/05/study-warns-deepfakes-can-fool-facial-recognition/

论文链接：

https://arxiv.org/pdf/2103.00847.pdf

立足学术前沿，远瞻产业发展。更多数据请参考前瞻产业研究院《2021-2026全球及中国人工智能内容行业市场调研及投资前景分析报告》，同时前瞻产业研究院提供产业大数据、产业规划、产业申报、产业园区规划、产业招商引资、IPO募投可研等解决方案。