神经竞赛归约：门控网络中抽象的动力学

我们对深度学习的理论理解未能跟上其经验成功的步伐。尽管已知网络架构至关重要，我们尚未理解其对所学表征和网络行为的影响，以及该架构应如何反映任务结构。在这项工作中，我们引入门控深度线性网络（Gated Deep Linear Network）框架来开始弥补这一差距，该框架梳理了信息流路径如何影响架构内的学习动力学。关键在于，由于门控机制，这些网络能够计算其输入的非线性函数。我们推导了精确的归约，并在某些情况下给出了学习动力学的精确解。我们的分析表明，结构化网络中的学习动力学可概念化为一场具有朝向共享表征隐式偏好的神经竞赛，这些共享表征进而支配模型系统性泛化、多任务和迁移的能力。我们在自然数据集上并以放宽假设验证了我们的关键见解。总之，我们的工作提出了关联神经架构与学习的一般性假设，并提供了一种数学方法以理解更复杂架构的设计以及模块性和组合性在解决现实问题中的作用。代码与结果可在 https://www.saxelab.org/gated-dln 获取。