基于时间反转正则化的脉冲神经网络：用于泛化的混合时空不变性
人工智能
2025-03-11 v3 计算机视觉与模式识别
摘要
脉冲神经网络（SNN）因其超低功耗计算范式而广受关注。近期研究表明，SNN存在严重的过拟合问题，这限制了其泛化性能。本文提出一种简单且有效的时序反转正则化（TRR）方法，以缓解训练过程中的过拟合并促进SNN的泛化。我们利用SNN固有的时序特性，进行输入/特征时序反转扰动，引导SNN产生原始-反转一致的输出并学习扰动不变的表征。为进一步增强泛化能力，我们采用轻量级的“星运算”（Hadamard积）对原始和时序反转尖峰放电率进行特征混合，这既扩充了隐式维度，又作为时空正则器发挥作用。我们理论上证明该方法能够紧致泛化误差的上界，大量实验在静态/神经器形成识别以及3D点云分类任务上均证明其有效性、通用性和对抗鲁棒性。特别是，本文的正则化显著提升了低延迟SNN对神经器形成目标的识别准确率，推动了神经计算软硬件集成的实际部署。
引用
@article{arxiv.2408.09108,
title = {Temporal Reversal Regularization for Spiking Neural Networks: Hybrid Spatio-Temporal Invariance for Generalization},
author = {Lin Zuo and Yongqi Ding and Wenwei Luo and Mengmeng Jing and Kunshan Yang},
journal= {arXiv preprint arXiv:2408.09108},
year = {2025}
}
备注
17 pages, 9 figures