又被算法骗了！一种广泛使用的算法会导致信息丢失

在人工智能发展得如火如荼的今天，许多研究领域和环节已经有了成熟、固定的体系和套路，后来者可以轻松沿着已经铺好的道路前往最前沿领域。然而，一份最新研究显示，这一领域最基础的部分、一种被广泛应用的算法，从根本上就是有缺陷的。

3月2日发表在《美国国家科学院院刊》上的论文The impossibility of low-rank representations for triangle-rich complex networks(复杂三角冗余网络低阶表示的不可能性)对神经网络建模所采用的“低维嵌入”算法进行了评估，并证明其存在重大缺陷。同时，虽然新的嵌入方法正在迅速发展，但是这些方法都有相同的缺点。

嵌入技术本质上是将文本信息映射到数值空间中，再对这些数值进行运算。以社交网络为例，嵌入技术就是将一个人在社交网络中的位置转换成几何空间中的一组坐标，为每个个体生成一个可以插入算法的数字，再通过算法生成关于人们行为的预测、为用户提供建议等等。

文章第一作者、加州大学副教授C. Seshadhri表示：“把一些抽象的东西——比如一个人在社交网络中的位置——转换成具体的数字列表，这很重要。另一件重要的事情是，你要把它转换到一个低维空间，这样代表每个人的数字列表就会相对较小。”

问题在于，一旦转换完成，系统就会忽略实际的社交网络，完全根据空间中各点之间的关系进行预测。例如，如果你周围的很多人都在购买某个特定的产品，系统可能就会预测你也会购买相同的产品。

在文章中，Seshadhri和合作者先是用数学方法论证这个嵌入过程会导致复杂网络的重要结构丢失，随后，他们又通过在不同类型的复杂网络上测试不同的嵌入技术，从经验上证实了这一结果。

“如果模型某处出现了很多个三角形，就意味着在社交网络的这一部分存在很多社区结构。在一个典型的社交网络中，有些人有大量的联系，但大多数人没有很多联系。对于那些社交网络范围有限的人来说，这些三角形更重要。”

在对嵌入技术的分析中，研究人员发现许多代表社区结构的社会三角形在嵌入过程中丢失了。“所有这些信息似乎都消失了，所以当你构建这些几何表征时，你想找到的东西几乎都消失了，”Seshadhri说。

不过，低维嵌入方法并不是一无是处。虽然在单独使用时会丢失许多东西，但是如果将其和其他输入方法一起使用，不仅可以弥补这一缺陷，还能给整个模型的性能带来一点小小的提升。

不过说到底，为特定的任务开发特定的技术，才是获得好结果的最佳选择。

“这些嵌入技术适用于许多不同的任务，这就是很多人采用它们的原因。将它们插入现有的机器学习系统也很容易。但对于特定的任务，你其实可以获得更好的结果，”Seshadhri说。

参考文献：

[1] https://www.pnas.org/content/early/2020/02/26/1911030117