中国AI科学家教授神经网络自我训练 自我监督学习必然成AI重点研究领域

人工智能正越来越多地尝试让机器在最少的人类指导下进行自学。所谓的自我监督是一种可以添加到许多机器学习任务中的元素，这样计算机就可以在更少的人工帮助下学习，也许有一天甚至完全不需要人工帮助。

中山大学和香港理工大学的科学家们在一项新的研究中利用自我监督功能，帮助计算机学习视频片段中人体的姿势。

理解图片中的人在做什么可以丰富机器学习研究脉络，对包括视频监控在内的许多事情都有用。但这种方法依赖于“带注释的”数据集，其中标签被小心地应用于身体关节的方向。

由于越来越大的“深层”神经网络渴求越来越多的数据，但并不总是有足够的标记数据来满足这一需求，问题便接踵而至。

因此，中山大学的研究人员着手证明，神经网络可以通过不断地比较多个网络之间的猜测来完善其理解，最终减少对标记数据集所提供的“基本事实”的需求。

正如作者所言，之前推断人体姿态的努力已经取得了成功，但代价是“耗时的网络架构(例如ResNet-50)和有限的可扩展性，因为3D姿势数据不足”。

在一系列基准测试中，作者证明了在预测一个图形中姿态方面优于其他人工智能方法的成功。

这篇论文名为《具有自监督学习功能的三维人体姿态机》，发表在arXiv预印服务器上。值得注意的是，其中一名作者是商汤的员工。商汤是一家中国的人工智能初创企业，销售人脸识别等各种应用软件，并发布了一款机器学习编程框架。

在他们2017年的原始论文中，作者使用了一个带注释的数据集，即2014年由德国马普信息学研究所(Max Planck Institute for Informatics)的Mykhaylo Andriluka及其同事编制的“MPII人体姿势”数据集。他们使用标记的数据集从静止的图像中提取二维人体部位——基本上是面向空间的四肢的简笔画。然后，他们将这些2D身体部分的表现形式转换成3D的表现形式，以表明肢体在3D空间中的方位。

在这篇新论文中，作者通过MPII数据集进行同样的“预处理”，从图像中提取2D姿态。就像在2017年一样，他们使用另一个数据集“Human3.6M”来提取真实三维姿态。“Human3.6M”共拍摄了360万张在实验室拍摄的有偿演员执行各种任务的照片，这些任务包括跑步、散步、吸烟和吃饭。

这次的新发现是，在他们神经网络的最后一部分，他们放弃了2D和3D注释。相反，他们将3D模型对2D版本的预测与第一步生成的2D图像进行比较。“初始化后，我们用2D和3D预测的姿态代替2D和3D的真实姿态，以自我监督的方式优化“模型”。”

他们“将3D位姿的3D坐标投影到图像平面中，得到投影的2D位姿”，然后“最小化”这个新的2D位姿与他们“作为优化目标”推导出的第一个二维位姿之间的差异。

现在有很多标准的机器学习方法:卷积神经网络(CNN)允许系统提取二维简笔画。这种方法借鉴了卡内基梅隆大学(Carnegie-Mellon)研究人员2014年和2016年的一项后续研究。

然后，使用长短时记忆，即专门保留事件序列记忆的神经网络，从多个连续的视频帧中提取身体的连续性，创建三维模型。这项工作是根据2014年Alex Graves和他在谷歌旗下DeepMind公司的同事所做的工作进行建模的，DeepMind最初是为语音识别而建立的。

这里的新奇之处在于，强加自我监督，使整个事物保持一致，而不需要贴上真实情况的标签。通过采取这最后一步，作者能够减少对3D数据的需求，转而依赖2D图像。他们写道:“这种强加的校正机制使我们能够利用外部大规模二维人体姿态数据来提高三维人体姿态估计。”

在可预见的未来，研究人员将面临大量的竞争。其他方法也采用了类似的“轻度监督”方法来预测姿势，甚至捕捉人体运动。例如，加州大学伯克利分校教授Sergey Levine的机器人实验室去年10月报告称，他们能够训练模拟机器人模仿人类活动，就像没有标注的YouTube视频那样。也许像Levine这样的中国研究人员的工作和努力将在未来实现某种融合。无论如何，自我监督学习的价值显然是人工智能研究的一个重点。