面向全范围时间步长的高效 Logit 基于知识蒸馏深脉冲神经网络
机器学习
2025-05-29 v2 神经元与认知
摘要
脉冲神经网络（SNN）正逐渐成为传统人工神经网络（ANN）的类脑替代方案，因其在仿生硬件上的潜在能效优势而备受青睐。尽管如此，SNN 常常因准确率下降而不及 ANN，并面临固定推理时间步长的部署挑战，这需要调整时长重新训练，从而限制了操作灵活性。为此，本文考虑到 SNN 本身具有的时空特性，提出了一种新型蒸馏框架，用于深层 SNN，使其在无需特定重新训练的情况下即可在全范围时间步长上优化性能，提升了效果和部署适应性。我们提供了理论分析和实证验证，说明在全范围时间步长上，所有隐式模型的训练均可保证收敛。在 CIFAR-10、CIFAR-100、CIFAR10-DVS 和 ImageNet 上的实验结果表明，我们的方法在蒸馏基于 SNN 训练方法中实现了最先进的性能。我们的代码已公开于 https://github.com/Intelli-Chip-Lab/snn_temporal_decoupling_distillation。
关键词
引用
@article{arxiv.2501.15925,
title = {Efficient Logit-based Knowledge Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment},
author = {Chengting Yu and Xiaochen Zhao and Lei Liu and Shu Yang and Gaoang Wang and Erping Li and Aili Wang},
journal= {arXiv preprint arXiv:2501.15925},
year = {2025}
}
备注
Accepted by ICML 2025