蒸馏脉冲：脉冲神经网络中的知识蒸馏
神经与进化计算
2020-05-04 v1 计算机视觉与模式识别
摘要
脉冲神经网络（SNN）是能效高的计算架构，与经典人工神经网络（ANN）不同，其通过交换脉冲来处理信息。因此，SNN 更适用于实际部署。然而，与 ANN 类似，SNN 也受益于更深的架构以获得更好性能。此外，如同深度 ANN，SNN 的内存、计算和功耗需求也随模型规模增长，模型压缩成为必要。知识蒸馏是一种模型压缩技术，能以最小性能损失将大型机器学习模型的学习迁移到更小的模型。本文中，我们提出用于图像分类任务的脉冲神经网络知识蒸馏技术。我们给出了从更大的 SNN（亦称教师网络）向更小的 SNN（亦称学生网络）蒸馏脉冲的方法，同时将对分类精度的影响降至最低。我们在三个标准数据集上通过详细实验证明了所提方法的有效性，并提出了新颖的蒸馏方法和损失函数。我们还提出了一种使用中间网络的多阶段知识蒸馏技术，以使学生网络获得更高性能。我们的方法有望为在资源受限硬件平台上部署高性能大型 SNN 模型开辟新途径。
引用
@article{arxiv.2005.00288,
title = {Distilling Spikes: Knowledge Distillation in Spiking Neural Networks},
author = {Ravi Kumar Kushawaha and Saurabh Kumar and Biplab Banerjee and Rajbabu Velmurugan},
journal= {arXiv preprint arXiv:2005.00288},
year = {2020}
}
备注
Preprint: Manuscript under review