LaSNN：面向深度脉冲神经网络高效有效训练的逐层 ANN 到 SNN 蒸馏
神经与进化计算
2023-04-19 v1 人工智能
摘要
脉冲神经网络（SNNs）因其事件驱动机制在生物学上真实且在低功耗计算方面具有实用前景。通常，SNN 的训练在各种任务上遭受精度损失，性能劣于 ANN。一种转换方案被提出，通过将训练好的 ANN 参数映射到相同结构的 SNN 来获得有竞争力的精度。然而，这些转换得到的 SNN 需要极多时间步，从而丧失了节能优势。为兼顾 ANN 的精度优势与 SNN 的计算效率，本文提出一种新颖的 SNN 训练框架，即逐层 ANN 到 SNN 知识蒸馏（LaSNN）。为获得有竞争力的精度并降低推理延迟，LaSNN 通过蒸馏知识而非转换 ANN 参数，将已训练良好 ANN 的学习迁移到小型 SNN。通过引入注意力机制弥合异质 ANN 与 SNN 间的信息鸿沟，ANN 中的知识被有效压缩并借由我们的逐层蒸馏范式高效迁移。我们在三个基准数据集（CIFAR-10、CIFAR-100 和 Tiny ImageNet）上进行了详尽实验以证明 LaSNN 的有效性、高效性与可扩展性。我们取得了与 ANN 相当的 top-1 精度，且比性能相近的转换 SNN 推理快 20 倍。更重要的是，LaSNN 灵巧且可扩展，可轻松用于不同架构/深度和输入编码方法的 SNN，助力其潜在发展。
引用
@article{arxiv.2304.09101,
title = {LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks},
author = {Di Hong and Jiangrong Shen and Yu Qi and Yueming Wang},
journal= {arXiv preprint arXiv:2304.09101},
year = {2023}
}