脸书解决3D重建最古老难题之一！成功让计算机“意识到”镜子的存在

计算机绘图专业组(SIGGRAPH)就在眼前，这意味着像Facebook现实实验室这样的研究小组可以开始展示他们的一些前沿工作。

最新的来自FRL(先前的Oculus Research)展示了一种捕捉现实世界镜子的方法。

这项新研究为捕捉复杂的现实世界环境提供了一扇大门，这种环境以镜子和反射面为特征。

镜子是许多计算机视觉应用程序的敌人，如果Facebook的研究能够帮助解决这个问题，它最终可能会衍生出许多有用的应用程序。

“镜子和玻璃表面是我们日常生活环境的重要组成部分，但却很难扫描。从对反射平面目标的鲁棒性检测的简单思想出发，我们证明了一个完整的系统，可以对镜面和玻璃表面进行精确的重建。”报告中表示。

“由于易于捕获，我们的系统还可以用来收集训练数据，让那些以学习为基础的方法能检测反射表面。除了扫描室内场景的核心应用，我们还设想了多种扩展和应用。”

该系统通过寻找相机平台上的目标来发现镜子，然后通过分析图像的不同特征来改进镜子的形状。

“我们的关键想法是在捕捉装置上添加一个标签，只有当相机面对镜子或玻璃表面时才能观察到。”报告写道。

最明显的应用是让计算机更容易捕获镜子的图像，让用户在VR中体验到更真实的环境。

这项研究可以让现实世界中场景的再现更真实地与数字元素混合，比如你的头像，即使其中有很多镜子和反射面。

“镜子在3D重建中通常会被绕过，大多数早期的工作只是假装它们不存在，而忽略了它们，”研究科学家托马斯·惠兰(Thomas Whelan)在Oculus的一篇博客文章中说。

“但在现实世界中，它们无处不在，难倒了大多数重建方法。所以在某种程度上，我们打破了桎梏，正面解决了3D重建中最古老的问题之一。”