平衡传播与循环反向传播的等价性
机器学习
2018-05-24 v2
摘要
循环反向传播（Recurrent Backpropagation）和平衡传播（Equilibrium Propagation）是定点循环神经网络的监督学习算法，其区别在于第二阶段。在第一阶段，两种算法都收敛到一个对应于作出预测时配置的定点。在第二阶段，平衡传播松弛到另一个对应于更小预测误差的邻近定点，而循环反向传播使用侧网络迭代计算误差导数。在这项工作中，我们建立了这两种算法之间的紧密联系。我们表明，在第二阶段的每一时刻，平衡传播中神经活动的时间导数等于循环反向传播在侧网络中迭代计算的误差导数。本工作表明，计算误差导数不需要侧网络，并支持了如下假设：在生物神经网络中，神经活动的时间导数可能对误差信号进行编码。
引用
@article{arxiv.1711.08416,
title = {Equivalence of Equilibrium Propagation and Recurrent Backpropagation},
author = {Benjamin Scellier and Yoshua Bengio},
journal= {arXiv preprint arXiv:1711.08416},
year = {2018}
}