面向脉冲神经网络的头尾感知KL散度在知识蒸馏中的应用
人工智能
2025-05-19 v2
摘要
脉冲神经网络（SNN）因其节能和生物学可信性计算而日益受到关注。然而，由于现有训练方法的局限性和模型固有的约束，SNN常与人工神经网络（ANN）之间存在性能差距。知识蒸馏（KD）作为一种从ANN教师模型向SNN学生模型传递知识的技术，已被用于缓解这一差距。传统KD方法通常使用KL散度对输出分布进行对齐。然而，传统基于KL的方法未能充分发挥SNN独特特征的影响，因为它们倾向于过度关注高概率预测而忽视低概率预测，导致泛化性能 suboptimal。为此，我们提出一种头尾感知KL散度（HTA-KL），一种用于SNN的新型KD方法。HTA-KL引入基于累计概率的掩码，以动态区分高低概率区域，分配自适应权重以实现知识的平衡传递，从而提升整体性能。通过集成前向KL（FKL）和逆向KL（RKL）散度，我们的方法有效地对齐分布的头和尾区域。我们在CIFAR-10、CIFAR-100和Tiny ImageNet数据集上进行评估。实验结果表明，我们的方法在大多数数据集上优于现有方法，且使用更少的时间步。
引用
@article{arxiv.2504.20445,
title = {Head-Tail-Aware KL Divergence in Knowledge Distillation for Spiking Neural Networks},
author = {Tianqing Zhang and Zixin Zhu and Kairong Yu and Hongwei Wang},
journal= {arXiv preprint arXiv:2504.20445},
year = {2025}
}
备注
Accepted by IJCNN2025