迈向从 ANN 到 SNN 转换的高性能脉冲 Transformer
计算机视觉与模式识别
2025-03-03 v1
摘要
脉冲神经网络 (SNNs) 因其高能效、快速处理能力和鲁棒性而展现出巨大潜力。构建 SNN 主要有两种方法。直接训练方法需要大量内存，而转换方法提供了一种更简单、更高效的选择。然而，当前的转换方法主要集中于将卷积神经网络 (CNNs) 转换为 SNNs。由于非线性模块的存在，将 Transformer 转换为 SNN 具有挑战性。在本文中，我们提出了一个期望补偿模块以保持转换的准确性。其核心思想是利用前 T 个时间步的信息来计算时间步 T 的期望输出。我们还提出了一种多阈值神经元及相应的并行参数归一化，以解决高精度所需的大时间步长的挑战，旨在降低网络延迟和功耗。我们的实验结果表明，我们的方法实现了最先进的性能。例如，我们仅使用 4 个时间步就实现了 88.60\% 的 top-1 准确率，准确率仅损失 1\%，同时仅消耗 Transformer 原始功耗的 35\%。据我们所知，这是首次成功实现的人工神经网络 (ANN) 到 SNN 的脉冲 Transformer 转换，在复杂数据集上实现了高准确率、低延迟和低功耗。所提方法的源代码可在 https://github.com/h-z-h-cell/Transformer-to-SNN-ECMT 获取。
引用
@article{arxiv.2502.21193,
title = {Towards High-performance Spiking Transformers from ANN to SNN Conversion},
author = {Zihan Huang and Xinyu Shi and Zecheng Hao and Tong Bu and Jianhao Ding and Zhaofei Yu and Tiejun Huang},
journal= {arXiv preprint arXiv:2502.21193},
year = {2025}
}