基于显著性脉冲的 SpikeLLM：将脉冲神经网络扩展至大语言模型
机器学习
2025-04-11 v3 计算与语言
神经与进化计算
摘要
近期大规模语言模型（LLM）在各种应用中取得了显著进步，但其推理过程需要大量能源和计算资源。相比之下，人类大脑约有860亿个神经元，能效与参数数量相近的LLM要高得多。以此为灵感，我们重新设计了7~700亿参数的LLM，采用生物学上可信的脉冲机制，模拟人类大脑的高效行为。我们提出了首个脉冲大语言模型SpikeLLM。在伴随该模型的同时，提出了两种关键方法来提高脉冲训练效率：通用积分-发放（GIF）神经元将脉冲长度从 压缩至 位，以及最优脉冲框架用于划分异常通道并为GIF神经元分配不同的 ，进一步将脉冲长度压缩至约 位。通过与类似操作的量化LLM进行比较，证明了驱动脉冲LLM的必要性。在OmniQuant流水线中，SpikeLLM将WikiText2的困惑度降低11.01%，并在LLAMA-7B W4A4模型上提高了2.55%的常见场景推理准确率。在GPTQ流水线中，SpikeLLM实现了线性层的直接加法，显著超越了PB-LLMs。
引用
@article{arxiv.2407.04752,
title = {SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking},
author = {Xingrun Xing and Boyan Gao and Zheng Zhang and David A. Clifton and Shitao Xiao and Li Du and Guoqi Li and Jiajun Zhang},
journal= {arXiv preprint arXiv:2407.04752},
year = {2025}
}