基于直接反馈对齐的神经网络原则性训练

反向传播算法长期以来一直是神经网络的标准训练方法。现代范式隐式地为其优化，并且存在大量指南以确保其正确使用。最近，合成梯度方法——其中误差梯度仅被粗略近似——引起了人们的兴趣。这些方法不仅更好地描绘了生物大脑的学习方式，还开辟了新的计算可能性，例如异步更新网络层。即便如此，它们尚未能扩展到超越MNIST或CIFAR-10这类简单任务。这部分是由于缺乏标准，导致模型不合适以及实践不当，阻碍了这些方法发挥其最佳性能。在这项工作中，我们专注于直接反馈对齐，并提出了一套基于对齐角度观察的最佳实践。我们刻画了一种瓶颈效应，该效应阻碍了窄层中的对齐，并假设这可能解释了为什么反馈对齐方法尚未扩展到大型卷积网络。