DelRec：在循环脉冲神经网络中学习延迟
神经与进化计算
2025-10-16 v2
摘要
脉冲神经网络（SNN）是传统实值深度学习模型的仿生替代方案，具有大幅提升能效的潜力。近期，由于一项重大突破——替代梯度学习（SGL），人们对 SNN 的兴趣激增，该方法允许使用反向传播训练 SNN，大幅优于其他方法。在 SNN 中，每个突触不仅以权重为特征，还具有传输延迟。尽管理论工作早就表明可训练的延迟能显著增强表达能力，但学习它们的实用方法直到最近才出现。在此，我们引入“DelRec”，这是第一个基于 SGL 的方法，用于训练循环脉冲层中的轴突或突触延迟，且兼容任何脉冲神经元模型。DelRec 利用可微插值技术来处理非整数延迟，并在训练时提供定义明确的梯度。我们表明，具有可训练循环延迟的 SNN 优于前馈 SNN，在两个具有挑战性的时间数据集（音频数据集 Spiking Speech Command 和视觉数据集 Permuted Sequential MNIST）上取得了新的最先进（SOTA）表现，并在现已饱和的 Spiking Heidelberg Digit 数据集上，仅使用带有无状态（瞬时）突触的原版漏积分触发神经元就匹配了 SOTA。我们的结果表明，循环延迟对 SNN 中的时间处理至关重要，并且可以通过 DelRec 进行有效优化，为在具有可编程延迟的神经形态硬件上的高效部署铺平了道路。我们的代码可在 https://github.com/alexmaxad/DelRec 获取。
引用
@article{arxiv.2509.24852,
title = {DelRec: learning delays in recurrent spiking neural networks},
author = {Alexandre Queant and Ulysse Rançon and Benoit R Cottereau and Timothée Masquelier},
journal= {arXiv preprint arXiv:2509.24852},
year = {2025}
}