能量基模型在无穷小推断极限下的反向传播：统一预测编码、平衡传播与对比赫布学习
机器学习
2022-08-05 v3 人工智能
神经元与认知
摘要
大脑如何进行信用分配是神经科学中一个根本性的未解问题。许多“生物学上合理”的算法被提出，它们计算近似于反向传播（BP）所算梯度的梯度，并以更贴近满足神经回路约束的方式运作。许多此类算法利用能量基模型（EBM）的框架，其中模型中所有自由变量被优化以最小化一个全局能量函数。然而在文献中，这些算法彼此孤立存在，缺乏将其联系起来的统一理论。在此，我们提供了关于 EBM 在何种条件下可近似 BP 的完备理论，由此统一了文献中许多 BP 近似结果（即预测编码、平衡传播与对比赫布学习），并证明它们对 BP 的近似源于 EBM 在自由相平衡下的一个简单而普遍的数学性质。该性质随后可通过不同能量函数以不同方式被利用，这些特定选择产生了一族 BP 近似算法，既包含文献中已知结果，也可用于推导新结果。
引用
@article{arxiv.2206.02629,
title = {Backpropagation at the Infinitesimal Inference Limit of Energy-Based Models: Unifying Predictive Coding, Equilibrium Propagation, and Contrastive Hebbian Learning},
author = {Beren Millidge and Yuhang Song and Tommaso Salvatori and Thomas Lukasiewicz and Rafal Bogacz},
journal= {arXiv preprint arXiv:2206.02629},
year = {2022}
}
备注
31/05/22 initial upload; 22/06/22 change corresponding author; 03/08/22 revisions