通过大幅降低梯度估计偏差将平衡传播扩展到深度卷积网络
机器学习
2021-01-15 v1 神经与进化计算
摘要
平衡传播（Equilibrium Propagation, EP）是时间反向传播（Backpropagation Through Time, BPTT）的一种受生物学启发的对应方法，由于其强有力的理论保证以及学习规则在空间上的局部性，促进了专用于学习的节能硬件的设计。然而在实践中，EP 无法扩展到比 MNIST 更难的视觉任务。在本工作中，我们表明 EP 梯度估计中固有的有限扰动（nudging）使用所带来的偏差是造成该现象的原因，而消除该偏差使得能够通过 EP 训练深度卷积网络（ConvNets），包括具有不同前向与反向连接的架构。这些结果凸显了 EP 作为一种在深度神经网络中计算误差梯度的可扩展方法，从而为其硬件实现提供了动机。
引用
@article{arxiv.2101.05536,
title = {Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias},
author = {Axel Laborieux and Maxence Ernoult and Benjamin Scellier and Yoshua Bengio and Julie Grollier and Damien Querlioz},
journal= {arXiv preprint arXiv:2101.05536},
year = {2021}
}
备注
NeurIPS 2020 Workshop : "Beyond Backpropagation Novel Ideas for Training Neural Architectures". arXiv admin note: substantial text overlap with arXiv:2006.03824