高效的ANN引导蒸馏：通过混合分块替换对齐脉冲神经网络的基于速率的特征
机器学习
2025-03-24 v1 人工智能
摘要
脉冲神经网络（SNN）作为人工神经网络（ANN）的潜在替代方案已引起广泛关注。近期研究突出了SNN在大规模数据集上的潜力。对于SNN训练，存在两种主要方法：直接训练和ANN到SNN（ANN2SNN）转换。为充分利用现有ANN模型来指导SNN学习，可以采用直接的ANN到SNN转换或ANN-SNN蒸馏训练。本文从ANN到SNN的角度提出了一种ANN-SNN蒸馏框架，采用分块替换策略进行ANN引导学习。通过生成中间混合模型，利用基于速率的特征逐步将SNN特征空间对齐到ANN特征空间，我们的框架自然地引入了基于速率的反向传播作为训练方法。本方法取得了与最先进的SNN蒸馏方法相当或更优的结果，展现了训练和学习效率。
引用
@article{arxiv.2503.16572,
title = {Efficient ANN-Guided Distillation: Aligning Rate-based Features of Spiking Neural Networks through Hybrid Block-wise Replacement},
author = {Shu Yang and Chengting Yu and Lei Liu and Hanzhi Ma and Aili Wang and Erping Li},
journal= {arXiv preprint arXiv:2503.16572},
year = {2025}
}