不用再花冤枉钱买设备 iPhone+AI就能建立人脸精确3D图形

过去，制作出逼真且不吓人的人脸精确3D重建图需要昂贵的设备和专业技术。但现在，卡内基梅隆大学(CMU)的研究人员利用普通智能手机拍摄的视频实现了这一目标 。

使用智能手机连续拍摄脸部前方和侧面的视频会产生密集的数据云。CMU机器人研究所开发的两步程序利用这些数据，在深度学习算法的帮助下，实现了人脸的数字重建。而且他们的方法可以达到亚毫米精度，优于其他所有基于相机的类似过程。

获得数字重构的人脸，可以用来制作游戏或AR/VR人物形象，也可以用于动画、生物识别甚至医疗程序——精确的面部3D绘制有助于定制外科口罩或呼吸器。

CMU机器人研究所副教授Simon Lucey说:“在计算机视觉和图形学领域，建立面部的3D重构一直是一个未解决的问题，因为人们对面部特征的外观非常敏感。重建过程中即便只出现的微小异常，也会让最终结果看起来不真实。”

激光扫描仪、结构光和多机位工作室可以实现高度精确的面部扫描，但若要使用这些专门的传感器，在大多数场合又显得不划算。

Lucey和他的研究生Shubham Agrawal、Anuj Pahuja开发的方法解决了这一问题，他们的研究成果已经在3月初的科罗拉多州Snowmass举行的IEEE计算机视觉应用冬季会议上公开。他们使用iPhone X的慢动作模式拍摄了15-20秒的视频。

“高帧率慢动作是我们方法的关键之一，因为它产生了一个密集的点云，”Lucey说。

随后，他们采用了常用视觉同步定位和绘图(SLAM)技术，通过对表面上的点进行三角测量来计算其形状，同时利用这些信息来确定相机的位置。

这一步创建了人脸的初始几何形状，但是也会丢失部分数据，使模型出现空白。

在接下来的第2步中，研究人员引入了AI技术。他们首先使用深度学习算法来填补这些空白，识别出一张人脸的轮廓和标志性器官，如耳朵、眼睛和鼻子。这时会出现一个问题：深度学习技术有其局限性。

Lucey解释称，“深度学习是我们每天都在使用的强大工具，但它有一种记忆答案的倾向”，这和追求脸部细节识别的目标背道而驰。这时候就要引入一些经典的计算机视觉技术作为补充。这种方法的效率较低，需要30-40分钟的处理时间，但整个过程可以在智能手机上完成。

除了面部重建，CMU团队的方法还可以用于捕捉几乎任何物体的几何形状，Lucey说。然后，这些物体的数字重建可以整合到动画中，或者通过互联网传输到可以用3D打印机复制物体的网站上。

参考资料：

[1]https://www.cs.cmu.edu/news/smartphone-videos-produce-highly-realistic-3d-face-reconstructions