FAS：面向脉冲大语言模型的快速 ANN-SNN 转换
机器学习
2025-05-15 v2 人工智能
计算与语言
摘要
脉冲大语言模型已在各种场景中被证明是 LLM 的良好替代方案。现有的创建脉冲 LLM 的方法，即直接训练和 ANN-SNN 转换，通常存在性能下降和计算成本相对较高的问题。为了解决这些问题，我们提出了一种新颖的快速 ANN-SNN 转换策略（FAS），分两个阶段将 LLM 转换为脉冲 LLM。第一阶段对预训练模型进行全参数微调，因此不需要任何从头开始的直接训练。第二阶段引入由粗到细的校准方法，以减少转换误差并提高准确性。在四种不同规模的 LLM 上跨语言和视觉-语言任务的实验表明，FAS 能够实现 SOTA 性能，同时显著降低推理延迟和计算成本。值得注意的是，FAS 仅需八个时间步即可实现比 OPT-7B 模型高 3% 的准确率，同时将能耗降低 96.63%。源代码可在 https://github.com/lc783/FAS 获取。
关键词
引用
@article{arxiv.2502.04405,
title = {FAS: Fast ANN-SNN Conversion for Spiking Large Language Models},
author = {Long Chen and Xiaotian Song and Andy Song and BaDong Chen and Jiancheng Lv and Yanan Sun},
journal= {arXiv preprint arXiv:2502.04405},
year = {2025}
}