在静态输入 RNN 中等平衡传播更新匹配随时间反向传播的梯度
机器学习
2019-06-03 v1 神经与进化计算
机器学习
摘要
平衡传播(EP)是一种受生物学启发的、用于收敛循环神经网络(即由静态输入 x 驱动并 settling 至稳态的 RNN)的学习算法。训练收敛 RNN 在于调整权重,直到输出神经元的稳态与目标 y 一致。收敛 RNN 也可用更常规的随时间反向传播(BPTT)算法训练。在其原始表述中,EP 被描述于实时神经元动力学情形,这在计算上代价高昂。本工作中,我们引入一种具有简化方程与缩短仿真时间的离散时间版 EP,使 EP 更贴近实际机器学习任务。我们首先从理论与数值上证明,由前向时间动力学计算的 EP 神经与权重更新,逐步等于由 BPTT 获得的更新(其梯度由后向时间计算)。当动力学转移函数派生自原函数且稳态维持足够久时,该等式严格成立。我们随后表明,对于更标准的离散时间神经网络动力学,同一性质被近似满足,并继而演示了与 BPTT 性能相当的 EP 训练。特别地,我们定义了首个用 EP 训练的卷积架构,在 MNIST 上达到约 1% 测试误差,这是 EP 所报道的最低误差。这些结果可指导用 EP 训练的深度神经网络的发展。
引用
@article{arxiv.1905.13633,
title = {Updates of Equilibrium Prop Match Gradients of Backprop Through Time in an RNN with Static Input},
author = {Maxence Ernoult and Julie Grollier and Damien Querlioz and Yoshua Bengio and Benjamin Scellier},
journal= {arXiv preprint arXiv:1905.13633},
year = {2019}
}