I See You：完美Deepfake的弱点竟在于角膜

由于近乎完美的换脸技术，Deepfake在近来引起了人工智能界和社会各界的广泛担忧。日前，来自纽约州里大学布法罗分校的计算机科学教授Siwei Lyu带领团队发现了Deepfake的致命弱点——角膜，并开发了一种工具，能以94%的准确率分辨出Deepfake图像。

Lyu的团队从Flickr上获取了真实的照片肖像，并从一个AI生成的面孔库thispersondoesnotexist.com上获取了假图像。该工具对每一张脸进行了仔细的描绘，检查眼睛、眼球和每个眼球反射的光线。

（你猜猜这些照片当中哪些真哪些假？答对了，都是假的；图片摘自thispersondoesnotexist.com）

通过对细节的钻研，这个工具能够检测到角膜反射光的形状、强度和其他特征的潜在差异，并以94%的准确率标记Deepfake。

这项技术的原理在于，在真实的人像照片中，由于两只眼睛都在看一样的东西，所以我们眼睛里反射的光线一般都是相同的形状和颜色。Lyu说：“角膜几乎就像一个完美的半球形，而且反射性很强。所以任何从这些光源发出的光线进入眼睛的东西，都会在角膜上产生影像。”但由于Deepfake技术是由许多不同的照片合成的，所以大多数都忽略了这一关键细节。

（技术原理，图片摘自论文）

Lyu此前证明，Deepfake视频往往会出现视频主体眨眼率不一致或根本没有眨眼的情况。但Lyu同时承认，这项技术并非完美无瑕，因为它需要反射光源。该技术只看眼睛里反射的单个像素，而不是眼睛的形状或者眼睛里反射的东西的性质。而一个资深的deepfake制作者可以在后期制作中纠正不匹配的光线反射。并且，如果对象缺少一只眼睛或看不见眼睛，则该技术将失败。

Deepfakes是由时任苹果特别项目组机器学习总监的Ian Goodfellow在2014年开发的。这项技术在2020年大选季获得了关注，因为很多人担心开发者会利用它来破坏政治候选人的声誉。

去年，美国众议院议长Nancy Pelosi的一段经过大量编辑的视频被传播开来，让人觉得这位众议院议长好像喝醉了酒，说话口齿不清。

与此同时，女性和未成年少女在社交媒体上分享的照片被人利用Deepfake技术伪造成色情图像。根据深度造假检测公司Sensity的报告，在2019年7月至2020年期间，有超过10万名女性和女孩使用该机器人制作的非自愿性图片被分享到网上。

Lyu对机器学习和计算机视觉项目进行了20多年的研究，他还协助Facebook在2020年进行了Deepfake检测全球挑战，并帮助创建了“ Deepfake-o-meter ”在线资源，以帮助普通人进行测试以查看他们所观看的视频到底是否由Deepfake技术假造的。

他表示，在虚假消息充斥以及在种族和性别相关的紧张局势的超级党派世界之下，对于deepfake的精准识别是一个十分迫切的议题。

参考资料：https://www.dailymail.co.uk/sciencetech/article-9364985/Computer-program-near-perfect-record-spotting-deepfakes-examining-reflection-eyes.html

论文链接：

https://arxiv.org/pdf/2009.11924.pdf

立足学术前沿，远瞻产业发展。更多数据请参考前瞻产业研究院《2021-2026年中国3D人脸识别行业市场前瞻与投资规划分析报告》，同时前瞻产业研究院提供产业大数据、产业规划、产业申报、产业园区规划、产业招商引资、IPO募投可研等解决方案。