DelGrad：用于训练脉冲神经形态硬件上的延迟和权重的精确事件基梯度
神经与进化计算
2025-04-17 v3 新兴技术
机器学习
摘要
脉冲神经网络（SNN）本质上依赖于信号的时间戳来表示和处理信息。在脉冲传递延迟方面加入可训练延迟，对于塑造这些时间动态至关重要。虽然最近的方法在准确性和内存效率方面显示出训练延迟和权重的优势，但它们依赖于离散时间、近似梯度以及对内部变量（如膜电位）的完全访问权限。这限制了其精度、效率以及对神经形态硬件的适用性，由于增加了内存要求和 I/O 带宽需求。为此，我们提出 DelGrad，一种基于事件的分析方法，用于计算脉冲权重和延迟的精确损失梯度。延迟在我们提出的形式化方法中自然地融入训练过程，丰富了模型搜索空间中的时间维度。此外，DelGrad 仅基于脉冲时间戳建立，无需跟踪额外变量如膜电位。为展示这一关键优势，我们在 BrainScaleS-2 神经形态平台上演示了 DelGrad 的功能和优势，通过芯片-in-loop 方式训练 SNN。首次在噪声混合信号硬件上实验演示了添加延迟到 SNN 所带来的内存效率和准确性优势。此外，这些实验也揭示了延迟有助于网络抗噪能力的潜力。DelGrad 为在神经形态硬件上训练带延迟的 SNN 开辟了新的道路，这导致所需参数更少、准确率更高且更易于硬件训练。
引用
@article{arxiv.2404.19165,
title = {DelGrad: Exact event-based gradients for training delays and weights on spiking neuromorphic hardware},
author = {Julian Göltz and Jimmy Weber and Laura Kriener and Sebastian Billaudelle and Peter Lake and Johannes Schemmel and Melika Payvand and Mihai A. Petrovici},
journal= {arXiv preprint arXiv:2404.19165},
year = {2025}
}
备注
30 pages, 14 figures, 6 tables