理解神经网络中抽象表示出现的数学理论

近期神经科学实验表明，任务相关变量常常编码在神经群体活动的约为正交的子空间中。这些解耦的、或称为抽象的表示在多个脑区中均有观察到，并且跨越不同的物种。这些表示被证明支持跨分布 generalization 和快速学习新任务。关于这些表示是如何产生的机制仍不为人所理解，尤其是在监督任务行为的情况下。本文中，我们从数学上表明，在训练直接依赖于这些潜在变量的任务时，前馈非线性网络的隐藏层必然会出现抽象表示。这些学习到的抽象表示反映了输入刺激的语义。为证明这一点，我们将通常的网络权重优化问题重新表述为针对神经前激活分布的均值场优化问题。随后我们将该框架用于有限宽度的 ReLU 网络，表明这些网络的隐藏层在任务目标的全部全局最小值处都会 exhibits 抽象表示。最后，我们将我们的发现扩展到两种广义的激活函数族以及深层前馈网络。总的来说，我们的结果为解释大脑和人工神经网络中广泛观察到的抽象表示提供了解释。此外，我们在这里所develop的通用框架为理解在任务优化的、特征学习网络模型中各种表示的出现提供了一个在数学上可处理的工具包。