对偶传播:用二态神经元加速对比赫布学习
机器学习
2023-06-08 v3
摘要
基于活动差的学习算法——如对比赫布学习(contrastive Hebbian learning)和平衡传播(equilibrium propagation)——已被提出作为误差反向传播的生物学合理替代方案。然而,在传统数字芯片上,这些算法因必须两次求解昂贵的推断问题而受限,使得这些方法比反向传播慢两个数量级以上。在模拟领域,平衡传播或许有望实现快速且节能的学习,但状态仍需被推断并存储两次。受提升神经网络和区室神经元模型启发,我们提出一种简单的基于能量的区室神经元模型,称为对偶传播(dual propagation),其中每个神经元是一个具有两个内禀状态的二态体(dyad)。在推断时,这些内禀状态分别通过其差与均值编码误差/活动对偶性。该方法的优势在于仅需单次推断阶段,且推断可以分层闭式求解。我们在包括 Imagenet32x32 在内的常用计算机视觉数据集上实验表明,对偶传播在准确率和运行时间上均与反向传播表现相当。
引用
@article{arxiv.2302.01228,
title = {Dual Propagation: Accelerating Contrastive Hebbian Learning with Dyadic Neurons},
author = {Rasmus Høier and D. Staudt and Christopher Zach},
journal= {arXiv preprint arXiv:2302.01228},
year = {2023}
}
备注
Added reflections on biological plausibility and results comparisons to state-of-the-art versions of equilibrium propagation and difference target propagation