持续权重更新与卷积架构的平衡传播
神经与进化计算
2020-05-11 v1 机器学习
机器学习
摘要
平衡传播（EP）是一种受生物学启发的、用于训练神经网络的反向传播（BP）替代算法。它适用于由静态输入 x 驱动并趋于稳态的 RNN，例如 Hopfield 网络。EP 类似于 BP，在训练的第二阶段，误差信号在网络层中反向传播，但与 BP 不同的是，EP 的学习规则在空间上是局部的。尽管如此，EP 存在两个主要局限。一方面，由于其基于实时动力学的表述，EP 需要较长的模拟时间，这限制了其在实际任务中的适用性。另一方面，EP 的生物学合理性因其学习规则在时间上非局部而受限：突触更新在第二阶段动力学收敛后执行，且需要第一阶段中已无法在物理上获取的信息。我们的工作解决了这两个问题，旨在将 EP 的适用范围从标准机器学习模型拓宽至更具生物真实性的神经网络。首先，我们提出了 EP 的离散时间表述，从而简化方程、加速训练并将 EP 扩展至 CNN。我们的 CNN 模型在 MNIST 上实现了迄今为止 EP 报告的最佳性能。利用相同的离散时间表述，我们引入了持续平衡传播（C-EP）：在训练的第二阶段，利用空间和时间上的局部信息持续调整网络权重。我们证明，在突触强度缓慢变化和微小推动的极限下，C-EP 等价于 BPTT（定理 1）。我们在 MNIST 上对定理 1 和 C-EP 训练进行了数值验证，并将其推广至神经元间具有非对称连接的生物真实神经网络场景。
引用
@article{arxiv.2005.04169,
title = {Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation},
author = {Maxence Ernoult and Julie Grollier and Damien Querlioz and Yoshua Bengio and Benjamin Scellier},
journal= {arXiv preprint arXiv:2005.04169},
year = {2020}
}