并非所有时间步同等重要：脉冲神经网络的选择性对齐知识蒸馏
机器学习
2026-05-15 v1 人工智能
摘要
脉冲神经网络 (SNNs) 受大脑启发并由脉冲驱动，实现了高能效。然而，SNNs 与人工神经网络 (ANNs) 之间仍存在性能差距。知识蒸馏 (KD) 通常被用于提升 SNN 性能，但现有方法通常在所有时间步上强制执行统一对齐，无论是来自教师网络还是通过时间步间自蒸馏，都隐含假设每个时间步的预测应被同等对待。在实践中，SNN 预测随时间变化和演化，即使最终聚合输出正确，中间时间步也无需全部各自正确。在这些条件下，有效的蒸馏不应强制每个时间步趋向相同的监督目标，而应在保留有用时间动态的同时，为错误时间步提供纠正性指导。为了解决这个问题，我们提出了选择性对齐知识蒸馏 (SeAl-KD)，该方法通过均衡错误时间步的竞争性 logits 并基于置信度和时间步间相似性重新加权时间对齐，来选择性地对齐类别级和时间知识。在静态图像和神经形态事件驱动数据集上的大量实验表明，相较于现有蒸馏方法取得了一致的提升。代码可在 https://github.com/KaiSUN1/SeAl 获取。
引用
@article{arxiv.2605.14252,
title = {Not All Timesteps Matter Equally: Selective Alignment Knowledge Distillation for Spiking Neural Networks},
author = {Kai Sun and Peibo Duan and Yongsheng Huang and Guowei Zhang and Benjamin Smith and Nanxu Gong and Levin Kuhlmann},
journal= {arXiv preprint arXiv:2605.14252},
year = {2026}
}