面向 ANN-to-SNN 蒸馏中精确中间层匹配的自注意力时空校准
人工智能
2025-01-15 v1 计算机视觉与模式识别
机器学习
摘要
脉冲神经网络（SNN）因其事件驱动机制在低功耗计算方面具有前景，但常常表现不如人工神经网络（ANN）一样准确。ANN-to-SNN 知识蒸馏可以提高 SNN 的性能，但以前的方法要么只关注标签信息，忽略了有价值的中间层特征，要么采用逐层方法而不考虑空间和时间语义不一致，导致性能下降。为此，我们提出了一种新方法，称为自注意力时空校准（SASTC）。SASTC 使用自注意力机制识别 ANN 和 SNN 之间在空间和时间上的语义对齐层对。这实现了相关语义信息的自主传递。大量实验表明，SASTC 优于现有方法，有效解决了不匹配问题。优异的准确率结果包括在 CIFAR-10 上达到 95.12%，在 CIFAR-100 上达到 79.40%（使用 2 个时间步），以及在 ImageNet 上达到 68.69%（使用 4 个时间步）用于静态数据集，以及在 DVS-Gesture 上达到 97.92%，在 DVS-CIFAR10 上达到 83.60%用于神经形态数据集。这标志着 SNN 首次在 CIFAR-10 和 CIFAR-100 上超越 ANN，为 SNN 的潜在应用开辟了新视野。
关键词
引用
@article{arxiv.2501.08049,
title = {Self-Attentive Spatio-Temporal Calibration for Precise Intermediate Layer Matching in ANN-to-SNN Distillation},
author = {Di Hong and Yueming Wang},
journal= {arXiv preprint arXiv:2501.08049},
year = {2025}
}