BKDSNN: 利用模糊知识蒸馏提升基于学习的脉冲神经网络训练性能
神经与进化计算
2024-08-21 v2
摘要
脉冲神经网络(SNN)通过离散脉冲传递信息的生物神经系统仿生模型，因其卓越的计算效率而备受关注。近期利用代理梯度估计处理离散脉冲，催生了能够实现超低推理延迟(时间步数)的学习型 SNN 训练方法。然而，由于学习型方法难以对离散脉冲的精确梯度估计，SNN 与其人工神经网络(ANN) counterparts 之间仍存在显著的精度差距。为此，我们提出了模糊知识蒸馏(BKD)技术，该技术利用随机模糊化的 SNN 特征来恢复并模拟 ANN 特征。值得注意的是，我们的 BKD 应用在 SNN 最后一层之前的特征图上，亦可与基于 logits 的知识蒸馈相结合，以实现最大化的精度提升。据我们所知，在学习型方法范畴内，本工作在静态数据集和神形态数据集上均实现了最先进的性能。 在 ImageNet 数据集上，BKDSNN 相较于先前最佳结果在 CNN 和 Transformer 网络拓扑结构下分别提升了 4.51% 和 0.93%。
引用
@article{arxiv.2407.09083,
title = {BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation},
author = {Zekai Xu and Kang You and Qinghai Guo and Xiang Wang and Zhezhi He},
journal= {arXiv preprint arXiv:2407.09083},
year = {2024}
}
备注
accepted by European Conference on Computer Vision (ECCV) 2024