先对齐，后记忆：反馈对齐学习的动力学
机器学习
2021-06-11 v2 无序系统与神经网络
机器学习
神经与进化计算
摘要
直接反馈对齐（DFA）正作为一种高效且生物学上合理的替代方案，兴起以取代训练深度神经网络中无处不在的反向传播算法。尽管依赖随机反馈权重进行反向传播，DFA 仍成功训练了如 Transformer 等最先进的模型。另一方面，它却众所周知地无法训练卷积网络。对 DFA 内部工作机制的理解以解释这些分歧结果，目前仍难以捉摸。在此，我们提出一种解释 DFA 成功的理论。我们首先证明，浅层网络中的学习分两步进行：对齐阶段（模型调整其权重以使近似梯度与损失函数的真实梯度对齐）之后是记忆阶段（模型专注于拟合数据）。这一两步过程具有破简并效应：在损失景观中所有低损失解之中，用 DFA 训练的网络自然收敛到使梯度对齐最大化的解。我们还确定了深层线性网络中对齐背后的关键量：对齐矩阵的条件数。后者使得我们能够详细理解数据结构对对齐的影响，并为 DFA 训练卷积神经网络众所周知失败的现象提供了一个简单解释。在 MNIST 和 CIFAR10 上的数值实验清楚地展示了深层非线性网络中的破简并现象，并表明先对齐后记忆的过程从网络底层到顶层依次发生。
引用
@article{arxiv.2011.12428,
title = {Align, then memorise: the dynamics of learning with feedback alignment},
author = {Maria Refinetti and Stéphane d'Ascoli and Ruben Ohana and Sebastian Goldt},
journal= {arXiv preprint arXiv:2011.12428},
year = {2021}
}
备注
The accompanying code for this paper is available at https://github.com/sdascoli/dfa-dynamics