增强自蒸馏框架用于高效脉冲神经网络训练
计算机视觉与模式识别
2025-10-09 v1
摘要
脉冲神经网络（SNN）因其稀疏激活模式，在神经器硬件上展现出卓越的能源效率。然而，基于替代梯度和时间反向传播（BPTT）的常规训练方法不仅在性能上落后于人工神经网络（ANN），还会产生随时间维度线性增长的显著计算和内存开销。为在有限计算资源下实现高性能SNN训练，我们提出了增强自蒸馏框架，联合基于速率的反向传播进行优化。具体而言，将中间SNN层的发放率投影到轻量级ANN分支上，并利用模型自身生成的高质量知识通过ANN路径优化子结构。不同于传统自蒸馏范式，我们观察到低质量的自生成知识可能阻碍收敛。为此，我们将教师信号解耦为可靠与不可靠成分，确保仅使用可靠知识指导模型优化。在CIFAR-10、CIFAR-100、CIFAR10-DVS和ImageNet上进行的广泛实验表明，我们的方法在保持训练复杂度的同时实现了高性能SNN训练。我们的代码已公开于 https://github.com/Intelli-Chip-Lab/enhanced-self-distillation-framework-for-snn。
引用
@article{arxiv.2510.06254,
title = {Enhanced Self-Distillation Framework for Efficient Spiking Neural Network Training},
author = {Xiaochen Zhao and Chengting Yu and Kairong Yu and Lei Liu and Aili Wang},
journal= {arXiv preprint arXiv:2510.06254},
year = {2025}
}