深度学习情绪已经降温 AI寒冬即将来临！

多年来，深度学习一直处于AI革命的最前沿，许多人相信这是将我们带入技术奇点奇迹(通用AI)的银子弹。 2014年，2015年和2016年许多押注都是在推出新边界的时候作出，例如Alpha Go等。特斯拉等公司通过其首席执行官亲口宣布，全自动驾驶汽车已经非常接近了，特斯拉甚至开始向客户推销这个选项(在未来的软件更新中启用)。

在2018年中期我们看到发生了变化。从表面上看，NIPS会议仍然处于超卖状态，企业公关仍然在所有新闻稿中都有AI，埃隆·马斯克仍然保持着有前途的自动驾驶汽车，而谷歌 CEO不断重申吴恩达的口号，即AI比电力更强大。但是这个叙述开始破裂。正如Piekniewski(下文以第一人称叙述)在以前文章中所预测的那样，最明显的裂痕是自动驾驶 —— 这种技术在现实世界中的实际应用。

深度学习蒙尘

当ImageNet得到有效解决(注意这并不意味着解决方案已经解决)，该领域的许多杰出研究人员(包括通常低调安静的杰夫·辛顿)都在积极地进行新闻采访，在社交媒体上公开一些东西(例如燕乐存，吴恩达，李飞飞等)。总的来说，我们正处在一场巨大的革命前面，从现在开始，事情只会加速。好几年已经过去了，那些人的Twitter变得不那么活跃了，下面是吴恩达的例子：

2013年：每天0.413条推文

2014年：每天0.605条推文

2015年：每天0.320条推文

2016年：每天0.802推文

2017年：每天0.668推文

2018 年：每天0.263推文(至5月24日)

也许这是因为吴恩达的离谱言论现在遭受到社区更详细的审查，如下面的推文所示：

显然，情绪已经大大降温，赞美深度学习作为终极算法的推文少得多，论文正在变得不那么“革命”，并且更“进化”。自从他们的Alpha Go zero推出以来，Deepmind并没有显示出任何令人惊叹的事物[即使这并不令人兴奋，因为只有游戏的必要计算量和适用性 —— 参见Moravec的悖论]。而OpenAI相当安静。

实际上，有些文章开始显示，即使谷歌实际上并不知道如何处理Deepmind，因为它们的结果显然不如原先预期的那么实际......至于杰出的研究人员，他们一般都在加拿大或法国与政府官员见面，为了获得未来的补助金，燕乐存甚至辞去Facebook的职位(相当具有象征意义)。这种从富有的大公司向政府资助的研究机构的逐渐转变表明，这些公司对这类研究的兴趣(我认为是谷歌和Facebook)实际上正在慢慢收敛。这些都是早期迹象，没有什么大声说出来的，只是肢体语言。

深度学习(不成)规模

关于深度学习的重要口号之一是它几乎毫不费力地扩张。我们在2012年拥有6000M参数的AlexNet，现在我们可能已经有至少1000倍的数量的模型了吗?好吧，我们可能会这样做，但问题是 - 这些东西有1000倍的能力吗?甚至100倍的能力? OpenAI的研究派上用场：

因此，就视觉应用而言，我们看到VGG和Resnets在计算资源应用的一个数量级上(就参数数量而言实际上较少)饱和。 Xception是谷歌启动架构的一种变体，实际上它在ImageNet上的表现略微优于其他产品，可以说实际上略胜过其他人，因为AlexNet基本上解决了ImageNet。

所以，在比AlexNet计算机计算量提高100倍的情况下，我们在视觉方面几乎饱和的体系结构，或精确的图像分类。神经机器翻译是所有大型网络搜索参与者的一大努力，难怪它需要所有可能的计算(尽管谷歌翻译仍然很糟糕，尽管已经得到了更好的证明)。该图上的最新三点有趣地显示了Deepimind和OpenAI应用于游戏的强化学习相关项目。特别是AlphaGo Zero和稍微更通用的AlphaZero需要大量计算，但不适用于真实世界的应用程序，因为需要大量计算来模拟和生成这些极度缺乏数据模型所需的数据。好的，现在我们可以在几分钟内培训AlexNet而不是几天，但是我们可以在几天内培训一个1000倍的AlexNet，并获得质量更好的结果?显然不行...

所以实际上，这张旨在表明深度学习规模如何的图表显示了恰恰相反的结果。我们不能只放大AlexNet并分别获得更好的结果 - 我们必须摆脱特定的体系结构，并且有效的额外计算不会在没有数量级的情况下购买更多的数据样本，实际上这只能在模拟游戏环境中使用。

无人车事故

迄今为止，深度学习声誉最大的打击来自无人驾驶车辆的领域(我预计很长一段时间都是)。最初认为端到端的深度学习可以以某种方式解决这个问题，这个前提概念英伟达特别推崇。我不认为地球上还会有人仍然相信这一点，尽管我可能是错的。看看去年加利福尼亚DMV的报道，Nvidia的车不能脱离10英里的距离驾驶。

在另一篇文章中，我讨论了这种发展的一般状况，并与人类驾驶员安全进行了比较(扰流警报)，看起来不太好。自2016年以来，还出现了几起特斯拉AutoPilot事件，其中一些事件是致命的。可以说，特斯拉自动驾驶仪不应该与自动驾驶混淆，但至少在核心上它依赖于同一种技术。

从今天起，除了偶尔出现的巨大错误，它仍然不能停在路口，识别交通信号灯，甚至不能通过环形交叉路口。在2018年5月，也就是在承诺穿越美国东西海岸的特斯拉自动驾驶旅程的几个月后(尽管有传言称他们已经尝试过，但没法在没有约30次的脱离的条件下成功)的状况。几个月前(2018年2月)，埃隆·马斯克在一次电话会议中被问及沿海驾驶时：

“我们本来可以完成穿越美国东西海岸的自动驾驶旅程，但它需要太多的专用代码来有效地执行，这使其变得脆弱，只能用于特定的路线，但不是像一般的解决方案。我们可以在相同路径重复它，但是如果它不能用于任何其他路线，这不是一个真正的解决方案...”

我对神经网络方面取得的进展感到非常兴奋。这有点 ——也是那些看起来没有进展的指数级别的东西之一 —— 看起来没有太多进展，没有什么变化，但是突然会哇一声。它就像是一个蹩脚的司机，技术拙劣。但突然之间，变成一个非常棒的司机。自动驾驶汽车也是这样。”

那么，看看上面的图表(来自OpenAI)，似乎没有看到指数级的进展。实质上，马斯克的说法应该被解释为：“我们目前没有这种自动驾驶技术可以安全地带着我们穿越海岸，尽管如果我们真的想要(也许......)我们可以伪造它。我们深深地希望有些神经网络能力的指数跳跃将很快发生，并帮助我们免受耻辱和大规模的诉讼。”

但迄今为止，戳破人工智能泡泡最大的针是Uber自动驾驶汽车在亚利桑那州撞死一名行人的事故。从NTSB的初步报告中，我们可以读到一些令人惊讶的发言：

除了本报告中显而易见的一般系统设计失败外，令人惊讶的是系统花费了很长时间来试图确定前面看到的究竟是什么(无论是行人，自行车，车辆还是其他物体)，在这种情况下，而不是做出唯一的逻辑决策，确保不会撞到它。这有几个原因：首先，人们经常在事后说出他们的决定。所以一个人通常会说：“我看到一个骑车的人，所以我转向左边避开他”。

大量的心理物理学文献将提出一个完全不同的解释：人类通过神经系统的快速感知循环很快将其解释为障碍，并且迅速采取行动躲避它，几秒钟后，意识到发生了什么并提供了口头说明”。我们每天做的很多决定都不是语言表达的，驾驶包括许多决定，言语表达费用昂贵，需要时间，而现实往往不能提供时间，这些机制已经发展了十亿年保持我们的安全。

驾驶环境(尽管现代化)利用了许多这样的反应，但由于这些反应并没有专门为驾驶而发展，所以它们可能会引发错误，在汽车里被蜂蛰而导致的膝跳反应可能导致许多撞车事故和死亡。但是我们对三维空间，速度，预测代理行为的能力，穿过我们路径上物理对象行为的一般理解是原始技能，这些技能在1亿年前与现在一样有用，并且由于进化而变得异常敏捷。

但是由于大多数这些东西都不易表达，所以很难衡量，因此我们并没有在这些方面优化我们的机器学习系统。现在，这将支持英伟达的端到端方法 - 学习图像 - >动作映射，跳过任何语言表达。在某些方面，是做到这一点的正确方式，但是......问题在于输入空间是难以置信的高维度，而动作空间的维度非常低。因此，“标签”(读数)的“数量”与进入的信息量相比非常小。在这种情况下，学习虚假关系很容易，正如深入学习中的敌对示例所例证的那样。我们需要一个不同的范例，并假设对整个感知输入和行为的预测，作为使系统能够提取世界语义的第一步，而不是假相关性。

事实上，如果我们从深度学习的爆发中学到了什么，是(10k +维)图像空间中有足够多的虚假模式，它们实际上概括了许多图像，并使像我们分类器那样实际上理解了所正在看到的东西。正如在这个领域投入巨资的顶尖研究人员所承认的，事实并非如此。事实上，许多顶级研究人员不应该对我的观察结果感到愤怒，燕乐存提醒人们对AI关注的过度兴奋和AI冬季，即使是当前反向传播爆发之父——Geoffrey Hinton，在接受采访时也承认这种情况可能已经是个死胡同，我们需要重新开始。尽管如此，炒作仍是非常厉害，甚至没有人听听到该领域创始人的声音。

加里·马库斯和他对炒作的反对

我应该提到，更多顶级人士正在认识到狂妄自大，并有勇气公开称之为自负。加里·马库斯是该领域最活跃的人之一。虽然我并不同意加里在人工智能方面提出的所有建议，但我们当然同意它还没有像深度学习所炒作的那样强大。事实上，它还差得远。我很尊重加里，他的行为应该像一个真正的科学家，而大多数所谓的“深度学习明星”就像廉价名人一样。

结论

预测AI寒冬就像预测股市崩盘，不可能准确地分辨出什么时候发生，但几乎可以肯定它会在某个时刻出现。就像在股市崩盘之前，即将崩溃的迹象一样，但尽管以再强烈的语气描述它，还是会很容易忽视，即使已经非常明显了。在我看来，已经有这样的迹象表明，深度学习的衰退已经显现出来了(可能在人工智能方面，由于这个词已被企业宣传大肆滥用)，这在很明显的情况下是可见的，由于越来越多的炒作。那么寒冬到底有多“冷”?我不知道。接下来会发生什么?我不知道。但是我认为，即将来临，或许更快而决不会迟到。