平衡传播：弥合基于能量模型与反向传播之间的鸿沟

我们介绍平衡传播（Equilibrium Propagation），一种基于能量模型的学习框架。它只涉及一种神经计算，在预测阶段（作出预测时）和训练的第二阶段（揭示目标或预测误差后）都执行。尽管该算法像反向传播一样计算目标函数的梯度，它不需要用于第二阶段的特殊计算或电路，误差被隐式传播。平衡传播与对比赫布学习（Contrastive Hebbian Learning）和对比散度（Contrastive Divergence）有相似性，同时解决了这两种算法的理论问题：我们的算法计算一个定义良好的目标函数的梯度。因为目标函数是根据局部扰动定义的，平衡传播的第二阶段仅对应于将预测（不动点或平稳分布）推向减少预测误差的构型。在递归多层监督网络的情况下，输出单元在第二阶段被轻微推向其目标，并且在输出层引入的扰动向后传播到隐藏层。我们表明，在第二阶段“反向传播”的信号对应于误差导数传播，并且当突触更新对应于标准形式的脉冲时间依赖可塑性（spike-timing dependent plasticity）时，编码了目标函数的梯度。这项工作使得类似于反向传播的机制可以由大脑实现变得更合理，因为漏积分器神经计算在我们的模型中执行推理和误差反向传播。两个阶段之间唯一的局部差异是是否允许突触改变。