面向能源效率的动态激活与知识蒸馏：脉冲神经网络集成
机器学习
2025-02-21 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
虽然基础 AI 模型在分类和决策等任务中表现出色，但其高能耗使其不适用于能源受限的应用。受大脑效率的启发，脉冲神经网络（SNNs）因其事件驱动的特性与对神经器件的兼容性，已成为一种可行的替代方案。本工作引入一种新型系统，将知识蒸馏与集成学习相结合，以弥合人工神经网络（ANNs）与 SNNs 之间的性能差距。基础 AI 模型充当教师网络，指导组织成集成的较小学生 SNNs，称为脉冲神经网络集成（SNE）。SNE 使教师网络的知识能够被解耦，使每个学生在处理相同输入的同时，能够专注于预测该知识的不同方面。SNE 的核心创新在于动态激活集成中子集 SNN 模型的能力，利用知识蒸馏，并借助对教师特征空间的知情分区（解耦）进行增强。通过动态激活这些学生 SNN 的子集，该系统在准确率与能源效率之间进行权衡，在 CIFAR-10 数据集上实现显著的能源节省，同时仅产生约 2% 的准确率下降。该解耦 procedure 在 CIFAR-10 数据集上的准确率提升最高可达 2.4%。我们还对比分析了 SNE 在噪声条件下的性能，显示其比 ANN 教师更具鲁棒性。总之，SNE 为能源受限的应用提供了一条有前景的新方向。
引用
@article{arxiv.2502.14023,
title = {Dynamic Activation with Knowledge Distillation for Energy-Efficient Spiking NN Ensembles},
author = {Orestis Konstantaropoulos and Theodoris Mallios and Maria Papadopouli},
journal= {arXiv preprint arXiv:2502.14023},
year = {2025}
}