无需权重对称的深度学习

反向传播是训练人工神经网络的基础算法，在当代深度学习中占主导地位。尽管非常成功，但它被广泛认为在生物学上不可信，因为它依赖于前馈和反馈权重之间的精确对称性，以准确传播用于信用分配的梯度信号。所谓的权重传输问题涉及生物大脑如何学习对齐前馈和反馈路径，同时避免将前馈权重非生物地传输到反馈权重。为了解决这个问题，已经提出了几种信用分配算法，例如反馈对齐和Kollen-Pollack规则。虽然它们可以实现所需的权重对齐，但这些算法意味着如果一个神经元向另一个神经元发送前馈突触，它也应该从后者接收相同或至少部分相关的反馈突触，从而形成双向连接。然而，这种理想化的连接模式与大脑中的实验观察相矛盾，我们将这种差异称为权重对称问题。为了应对考虑生物连接约束所带来的挑战，我们引入了乘积反馈对齐（PFA）算法。我们证明，PFA可以完全消除显式权重对称，同时紧密逼近反向传播，并在深度卷积网络中实现可比的性能。我们的结果为解决大脑中长期存在的信用分配问题提供了一种新方法，与先前方法相比，在深度网络中实现了更生物学可信的学习。