用于深度信息传播的自发对称性破缺与 Goldstone 模式

在物理系统中，每当连续对称性发生自发破缺时，系统便拥有被称为 Goldstone 模式的激发，使得相干信息能够在长距离与长时间上传播。在本工作中，我们研究内部层在连续对称性下等变、因此可能支持类似 Goldstone 自由度的深度神经网络。我们从分析与经验上证明，这些自由度使得相干信号能够跨深度与循环迭代传播，提供了一种不依赖残差连接或归一化等架构稳定器的稳定信息流机制。在前馈网络中，这带来了可训练性的提升与跨层表征的多样性。在循环设置中，我们证明了同一机制通过在循环迭代中传播信息而对长期记忆具有价值，从而提升了 RNN 与 GRU 在长序列建模任务上的性能。