用于脉冲神经网络在线梯度估计的前向直接反馈对齐
神经与进化计算
2024-03-15 v1 机器学习
摘要
寻找当前 SOTA 神经网络训练算法的节能替代方案备受关注。脉冲神经网络是一种很有前景的方法，因为它们可以在神经形态硬件平台上进行节能模拟。然而，这些平台在训练算法的设计上存在局限性。最重要的是，反向传播无法在这些平台上实现。我们提出了一种新颖的神经形态算法，即 \textit{脉冲前向直接反馈对齐}（SFDFA）算法，它是 \textit{前向直接反馈对齐} 的一种改编，用于训练 SNN。SFDFA 将输出神经元和隐藏神经元之间的权重估计为反馈连接。本文的主要贡献在于描述如何在考虑突触后脉冲之间的神经元内依赖性的同时，以在线方式计算脉冲的精确局部梯度，并推导出一个适用于神经形态硬件的动态系统。我们将 SFDFA 算法与多种竞争算法进行比较，并表明所提出的算法实现了更高的性能和收敛速度。
引用
@article{arxiv.2403.08804,
title = {Forward Direct Feedback Alignment for Online Gradient Estimates of Spiking Neural Networks},
author = {Florian Bacho and Dminique Chu},
journal= {arXiv preprint arXiv:2403.08804},
year = {2024}
}