脉冲神经网络训练中的知识蒸馏深入分析
机器学习
2025-11-17 v2
摘要
脉冲神经网络(SNN)因其卓越的能源效率而日益流行，但面临有效模型训练的挑战。最近的研究通过引入知识蒸馏(KD)技术得到了改进，采用预训练的人工神经网络(ANN)作为教师，将目标SNN作为学生。这种做法通常通过对ANN和SNN的中间特征和预测logit进行直接的元素级对齐来实现，常常忽视了两者架构固有差异。具体而言，ANN的输出呈连续分布，而SNN的输出则表现为稀疏性和离散性。为缓解这一问题，本文提出了两种创新性KD策略。首先，我们提出了灵敏度比例激活图蒸馏(SAMD)，将学生SNN的脉冲激活图与教师ANN的类别感知激活图进行对齐。相较于直接对ANN和SNN的原始且差异显著的特征进行KD，SAMD引导学生学习那些在语义和分布一致性方面更具优势的激活图。此外，我们提出了噪声平滑logit蒸馏(NLD)，利用高斯噪声平滑学生SNN的稀疏logit，以便与教师ANN的连续logit进行对齐。多组实验表明，我们的方法有效且高效。代码已公开\footnote{https://github.com/SinoLeu/CKDSNN.git}。
引用
@article{arxiv.2511.06902,
title = {A Closer Look at Knowledge Distillation in Spiking Neural Network Training},
author = {Xu Liu and Na Xia and Jinxing Zhou and Jingyuan Xu and Dan Guo},
journal= {arXiv preprint arXiv:2511.06902},
year = {2025}
}
备注
Accepted by AAAI 2026