质疑深度学习中的表征乐观主义：断裂纠缠表征假说

现代AI的兴奋点很大程度上源于这样一个观察：扩大现有系统的规模能带来更好的性能。但更好的性能是否必然意味着更好的内部表征？表征乐观主义者认为必然如此，而本文则挑战了这一观点。我们将在开放式搜索过程中进化出的神经网络与通过传统随机梯度下降（SGD）训练的神经网络进行了比较，任务均为生成单张图像这一简单任务。这种最小化设置提供了一个独特的优势：每个隐藏神经元的完整功能行为都可以轻松地可视化为一张图像，从而揭示网络的输出行为是如何由神经元逐个内部构建的。结果令人震惊：虽然两个网络产生了相同的输出行为，但其内部表征却截然不同。SGD训练的网络表现出一种我们称之为折叠模型表征（FER）的无序形式。有趣的是，进化出的网络在很大程度上缺乏FER，甚至接近统一因子表征（UFR）。在大型模型中，FER可能正在损害模型的核心能力，如泛化、创造力和（持续）学习。因此，理解和缓解FER可能对表征学习的未来至关重要。