自适应双向反向传播：面向神经网络中生物合理的误差信号传输

反向传播(BP)算法一直被认为是训练深度神经网络的事实标准方法。它利用前馈权重的转置，以精确的方式将误差从输出层反向传播到隐藏层。然而，有人认为这在生物学上是不合理的，因为在生物神经系统中，利用精确的传入权重反向传播误差信号被认为是不可能的。在本工作中，我们基于神经科学相关文献和非对称类反向传播方法，提出了一种生物合理的神经架构范式。具体而言，我们提出了两种具有可训练前馈权重和反馈权重的双向学习算法。前馈权重用于将激活从输入传递到目标输出。反馈权重将误差信号从输出层传递到隐藏层。与其他非对称类反向传播方法不同，在我们的框架中反馈权重也是可塑的，并被训练以近似前向激活。初步结果表明，我们的模型在 MNIST 和 CIFAR-10 数据集上优于其他非对称类反向传播方法。