通过大幅降低梯度估计偏差将平衡传播扩展到深度卷积网络
神经与进化计算
2020-06-09 v1
摘要
平衡传播（EP）是一种受生物学启发的算法，用于具有局部学习规则的收敛RNNs，并带有很强的理论保证。已在数学上证明，在信用分配阶段神经网络的参数更新，当网络被无穷小地推向其目标时，逼近由时间反向传播（BPTT）提供的梯度。然而在实践中，用EP提供的梯度估计训练网络无法扩展到比MNIST更难的视觉任务。在这项工作中，我们表明EP梯度估计中固有的有限推动所带来的偏差是造成该现象的原因，而消除它允许通过EP训练深度ConvNets。我们表明，通过使用对称推动（一次正推动和一次负推动）可以极大地减小该偏差。我们还将先前的EP方程推广到交叉熵损失的情形（相对于平方误差）。作为这些进展的结果，我们能够通过EP在CIFAR-10上实现11.7%的测试误差，接近BPTT所实现的误差，并且相对于给出86%测试误差的采用同号推动的标准EP方法有了重大改进。我们还将这些技术应用于训练具有非对称前向和反向连接的架构，产生了13.2%的测试误差。这些结果凸显了EP作为在深度神经网络中计算误差梯度的具有生物学合理性的引人注目方法。
引用
@article{arxiv.2006.03824,
title = {Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias},
author = {Axel Laborieux and Maxence Ernoult and Benjamin Scellier and Yoshua Bengio and Julie Grollier and Damien Querlioz},
journal= {arXiv preprint arXiv:2006.03824},
year = {2020}
}