中文

全纯平衡传播通过有限振幅振荡计算精确梯度

机器学习 2022-09-02 v1 人工智能 神经与进化计算

摘要

平衡传播(EP)是反向传播(BP)的一种替代方法,允许使用局部学习规则训练深度神经网络。因此它为训练神经形态系统以及理解神经生物学中的学习提供了一个引人注目的框架。然而,EP需要无穷小的教学信号,从而限制了其在含噪声物理系统中的适用性。此外,该算法需要分离的时间相位,且尚未应用于大规模问题。在此,我们通过将EP扩展到全纯网络来解决这些问题。我们从解析上证明,即使对于有限振幅的教学信号,这种扩展也自然会产生精确梯度。重要的是,该梯度可以作为连续时间中有限神经元活动振荡的第一傅里叶系数来计算,而无需分离的相位。进一步,我们在数值模拟中证明,我们的方法允许在噪声存在下对梯度进行鲁棒估计,并且更深的模型受益于有限教学信号。最后,我们建立了EP在ImageNet 32x32数据集上的首个基准,并表明其与用BP训练的等价网络性能相当。我们的工作提供了解析见解,使EP能够扩展到大规模问题,并为振荡如何支持生物和神经形态系统中的学习建立了形式化框架。

关键词

引用

@article{arxiv.2209.00530,
  title  = {Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations},
  author = {Axel Laborieux and Friedemann Zenke},
  journal= {arXiv preprint arXiv:2209.00530},
  year   = {2022}
}

备注

24 pages, 7 figures