STARS：用于ANN到SNN无数据知识蒸馏的脉冲尾部感知关系合成
神经与进化计算
2026-05-28 v1 人工智能
机器学习
摘要
SNN承诺实现高能效和低延迟推理，但其性能仍落后于ANN。ANN到SNN的知识蒸馏有助于缩小这一差距，但在实际部署场景中，原始训练数据通常不可用。现有的无数据知识蒸馏（DFKD）方法通过匹配教师侧的先验（尤其是BN统计量）来合成替代数据，但这些面向ANN的约束主要正则化均值和方差，因此对于响应依赖于阈值穿越动力学的SNN学生来说，这些约束仍然不够充分。在本文中，我们提出了脉冲尾部感知关系合成（STARS），一种用于ANN到SNN DFKD的即插即用方法，它通过两个互补的目标来增强标准的BN引导合成：关系一致性对齐，它保持教师和学生之间的跨样本关系一致性；以及尾部感知正则化，它通过教师导出阈值上的软超越来正则化与阈值相关的尾部概率。这些目标共同生成合成的批次，这些批次在保持教师有效性的同时，对SNN学生更具信息量。在CIFAR-10、CIFAR-100和Tiny-ImageNet上跨多个ANN-SNN对的实验表明，我们的方法一致地改进了传统的DFKD基线，甚至超越了几种KD方法，在CIFAR-10上提升高达4.6%，在CIFAR-100上提升高达6.7%，这突显了在面向SNN的DFKD中，用关系性和尾部感知约束来补充BN匹配的重要性。
引用
@article{arxiv.2605.27409,
title = {STARS: Spike Tail-Aware Relational Synthesis for ANN-to-SNN Data-Free Knowledge Distillation},
author = {Shuhan Ye and Yi Yu and Qixin Zhang and Hui Lu and Jiaming He and Qinggang Zhang and Li Shen and Xudong Jiang},
journal= {arXiv preprint arXiv:2605.27409},
year = {2026}
}