误差前向传播：复用前馈连接以在深度学习中传播误差
神经与进化计算
2018-08-13 v1 神经元与认知
摘要
我们提出误差前向传播（Error Forward-Propagation），一种在生物学上合理的机制，用于通过网络向前传播误差反馈。在大脑中，用于误差反馈的连接性架构约束几乎被消除；系统性反向连接不被使用或不需要用于传递误差反馈。反馈作为一种将最终输出贡献的信用分配给前向通路中较早神经元的方式，被认为用于大脑的学习中。大脑如何解决信用分配问题尚不清楚。在机器学习中，误差反向传播是深度多层网络中用于信用分配的高度成功机制。反向传播要求每个神经元具有对称的互易连接。从生物学角度看，没有证据表明存在这样的架构约束，这使得反向传播在大脑学习中不合理。使用随机反馈权重可减轻这一架构约束。使用随机反馈权重的模型需要每个神经元的反向连接模式，但避免了对称权重和互易连接。在本文中，我们实际去除了这一架构约束，仅需要一条反向环路连接即可实现有效误差反馈。我们提出通过将被馈入输入接收层的输出来复用前向连接以传递误差反馈。该机制，即误差前向传播，为大脑深处如何发生误差反馈提供了一种合理的解释基础，其独立于复杂网络架构的底层功能并支持该功能。我们通过实验表明，具有两个和三个隐藏层的循环神经网络可使用误差前向传播在 MNIST 和 Fashion MNIST 数据集上训练，分别达到 和 的泛化误差。
引用
@article{arxiv.1808.03357,
title = {Error Forward-Propagation: Reusing Feedforward Connections to Propagate Errors in Deep Learning},
author = {Adam A. Kohan and Edward A. Rietman and Hava T. Siegelmann},
journal= {arXiv preprint arXiv:1808.03357},
year = {2018}
}