神经形态脉冲神经网络的在线伪零阶训练
神经与进化计算
2024-07-18 v1 人工智能
机器学习
摘要
以脑为灵感的神经形态计算使用脉冲神经网络（SNN）是一种具有能效优势的计算方法。然而，如何以更符合生物学规律且更适合神经形态硬件的方式来训练SNN仍具有挑战性。大多数近期方法利用空间和时间反向传播（BP），不符合神经形态特性。尽管一些在线训练方法已有尝试，但用与空间BP相当性能的替代方法来解决空间信用分配问题仍是显著难题。在本工作中，我们提出了一种新方法，即在线伪零阶（OPZO）训练。该方法仅需一次前向传播并注入噪声，即可获得空间信用分配，避免了空间BP中对称权重和分层前向-反向传播的独立阶段的问题。OPZO通过伪零阶公式和动量反馈连接解决了零阶方法的大方差问题，同时比随机反馈具有更强的保证。结合在线训练，OPZO为芯片级SNN训练提供了路径。在神经形态和静态数据集上使用全连接和卷积网络实验表明，OPZO的效果效果相当于空间BP，同时估计了较低的训练成本。
引用
@article{arxiv.2407.12516,
title = {Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks},
author = {Mingqing Xiao and Qingyan Meng and Zongpeng Zhang and Di He and Zhouchen Lin},
journal= {arXiv preprint arXiv:2407.12516},
year = {2024}
}