激活松弛:脑中反向传播的一种局部动力学近似
神经与进化计算
2020-10-13 v5 人工智能
机器学习
神经元与认知
摘要
误差反向传播算法(backprop)在深度学习的近期成功中起到了重要作用。然而,一个关键问题仍然在于backprop是否能以适合在神经电路中实现的方式表述。主要挑战是确保任何候选表述仅使用局部信息,而不是像标准backprop那样依赖全局信号。最近提出了几种仅使用局部信号来近似backprop的算法。然而,这些算法通常施加了其他挑战生物学合理性的要求:例如,需要复杂而精确的连通性方案,或需要多个顺序反向阶段且信息跨阶段存储。在此,我们提出一种新算法——激活松弛(AR),其动机是将反向传播梯度构造为动力学系统的平衡点。我们的算法快速且鲁棒地收敛到正确的反向传播梯度,仅需要单一类型的计算单元,仅利用单一并行反向松弛阶段,并且可以在任意计算图上运行。我们通过在视觉分类任务上训练深度神经网络来说明这些性质,并描述了该算法的简化以移除神经生物学实现的进一步障碍(例如权重传输问题和非线性导数的使用),同时保持性能。
引用
@article{arxiv.2009.05359,
title = {Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain},
author = {Beren Millidge and Alexander Tschantz and Anil K Seth and Christopher L Buckley},
journal= {arXiv preprint arXiv:2009.05359},
year = {2020}
}
备注
initial upload; revised version (updated abstract, related work) 28-09-20; 05/10/20: revised for ICLR submission; 10/10/20: minor revisions