时序正则化训练：释放脉冲神经网络的潜能

脉冲神经网络（Spiking Neural Networks, SNNs）因其事件驱动和低功耗特性而受到广泛关注，尤其适用于处理 neuromorphic 数据。最近的研究表明，直接训练的 SNN 存在严重的时序梯度消失和过拟合问题，这从根本上限制了其性能和可泛化性。本文提出了一种时序正则化训练（Temporal Regularization Training, TRT）方法，通过时衰减正则化机制优先约束早期时间步，旨在释放 SNN 的泛化和性能潜能。我们进行理论分析，揭示 TRT 在缓解时序梯度消失方面的作用。为验证 TRT 的有效性，我们在静态图像数据集和动态 neuromorphic 数据集上进行实验，进行结果分析，表明 TRT 能有效缓解过拟合，帮助 SNN 收敛到更平坦的局部极小值，从而具有更好的可泛化性。此外，我们通过分析 SNN 内部的时序信息动力学，建立了 TRT 时序正则化机制的理论解释。我们跟踪 SNN 在训练过程中的 Fisher 信息，发现 Fisher 信息在训练过程中逐渐集中于早期时间步。TRT 中实现的时衰减正则化机制有效引导网络在信息丰富的早期时间步学习鲁棒特征，从而显著提高模型的泛化能力。