痕迹传播：脉冲神经网络中内存高效且可扩展的纯前向学习
机器学习
2025-10-20 v2 神经与进化计算
摘要
脉冲神经网络（SNNs）为处理动态时空信号和研究生物神经系统底层的学习原理提供了一个高效的框架。训练 SNN 的一个关键挑战是解决空间和时间上的信用分配问题。训练 SNN 的主流方法是带代理梯度的随时间反向传播（BPTT）。然而，BPTT 与生物神经系统中观察到的时空局部性形成鲜明对比，并导致高昂的计算和内存需求，限制了高效的训练策略和设备端学习。尽管现有的局部学习规则通过利用资格迹实现了局部时间信用分配，但它们未能解决空间信用分配问题，除非借助辅助的逐层矩阵，这增加了内存开销并阻碍了可扩展性，尤其是在嵌入式设备上。在这项工作中，我们提出了痕迹传播（TP），这是一种纯前向、内存高效、可扩展且完全局部的学习规则，它结合了资格迹和逐层对比损失，无需辅助的逐层矩阵。TP 在 NMNIST 和 SHD 数据集上优于其他完全局部的学习规则。在更复杂的数据集（如 DVS-GESTURE 和 DVS-CIFAR10）上，TP 展示了有竞争力的性能，并能有效扩展到更深的 SNN 架构（如 VGG-9），同时，对于类别数量众多的数据集，与先前的完全局部可扩展规则相比，提供了有利的内存扩展。最后，我们展示了 TP 非常适合实际的微调任务，例如在 Google Speech Commands 数据集上进行关键词识别，从而为边缘设备上的高效学习铺平了道路。
引用
@article{arxiv.2509.13053,
title = {Traces Propagation: Memory-Efficient and Scalable Forward-Only Learning in Spiking Neural Networks},
author = {Lorenzo Pes and Bojian Yin and Sander Stuijk and Federico Corradi},
journal= {arXiv preprint arXiv:2509.13053},
year = {2025}
}