牛人！95后浙大博士生开发全新视图合成系统，任意角度实现360°沉浸式观感

近日，浙江大学博士生导师周晓巍带领团队的一款名为Neural Body的新型视图合成技术，在计算机视觉顶会CVPR 2021上（IEEE Conference on Computer Vision and Pattern Recognition）发表，并吸引了众多关注。其中，周晓巍担任通讯作者，其学生彭思达为第一作者。

据悉，基于这项技术，能够更好地捕捉人物的动作，只需输入少量角度拍摄的人体镜头，便可合成360°的人体3D新视图。在这一基础上，只用少量素材，未来我们在看球赛、演唱会视频等画面时，也就能够用手指移动任意角度，清楚地观看其中的一系列动态细节。这样沉浸全视角的观感，是不是很神奇？

除了突破以往视觉真实感、反光表面/透明区域处理方面的瓶颈，该项技术更难能可贵的突破是：它清晰完成了动态场景的视图合成，而且是用非常稀疏的视角输入，比如三四个RGB相机，就可以完成视图采集。而且效果出众——太极跳舞、拳击和踢腿等动作一个不落全能“神还原”。经过实验验证，该方法优于此前的其它方法。

在他们的研究设计过程中，周晓巍团队研究成员假设，不同时刻的辐射场都由同一组隐编码来生成，这一组隐编码附着在人体模型上，会随着人体运动。这样就可建立起不同时刻辐射场之间的联系，从而充分利用视频中所有时刻的信息，来学习人体的3D表示。

针对此方法，他们创建了一个多视图数据集来进行评估，该数据集使用一个有21个同步摄像头的多摄像头系统，共捕获9个动态人体视频，并选择4个均匀分布的摄像机进行训练，使用剩余的摄像机进行测试。

而针对这项技术的实际应用，研究人员表示，一些VR和全景展示的场景都非常有望实现大规模应用，比如电商直播和VR看房这样实实在在就在我们日常生活中的场景。

浙江大学教师个人主页资料显示，周晓巍为浙江大学计算机学院CAD&CG国家重点实验室“百人计划”研究员、博士生导师。

在此次研究中，周晓巍团队的95后研究成员——彭思达也获得了不少关注。彭思达目前25岁，是浙江大学CAD&CG国家重点实验室三年级博士研究生，研究三维重建与物体位姿检测。2020年曾获评CCF-CV学术新锐奖。年纪轻轻就获得这样的学术成就，让人不禁感叹后生可畏。

论文链接：https://arxiv.org/pdf/2012.15838.pdf

http://paperreading.club/page?id=67384

立足学术前沿，远瞻产业发展。更多数据请参考前瞻产业研究院《2021-2026年中国虚拟现实（VR）行业市场需求与投资规划分析报告》，同时前瞻产业研究院提供产业大数据、产业规划、产业申报、产业园区规划、产业招商引资、IPO募投可研等解决方案。