BiSpikCLM：集成无Softmax稀疏注意力与尖峰感知对齐蒸馏的脉冲语言模型
神经与进化计算
2026-05-15 v1 人工智能
机器学习
摘要
脉冲神经网络（SNN）因其事件驱动特性和超低功耗消耗，作为大型语言模型（LLM）的有前景的能源效率替代方案。然而，为保持容量，大多数现有脉冲LLM仍需进行大量浮点矩阵乘法（MatMul）和非线性运算，或因复杂时空动态而面临训练难题。为此，我们提出BiSpikCLM，这是首个完全二进制无MatMul因果语言模型。BiSpikCLM引入无Softmax稀疏注意力（SFSA），消除自回归语言建模中的Softmax和浮点运算。为实现高效训练，我们提出脉冲感知对齐蒸馏（SpAD），该方法在嵌入、注意力图、中间特征和输出logits之间对齐ANN教师和SNN学生。SpAD框架使BiSpikCLM能够使用大幅减少的训练标记（例如，仅使用1.3B模型的5.6%）即可达到与ANN相当的性能。因此，BiSpikCLM在自然语言生成任务中仅需4.16%至5.87%的计算成本即可实现竞争性能。我们的结果凸显了完全二进制脉冲驱动LLM的可行性和有效性，并将蒸馏确立为脑类神经NLP的有前景的路径。
引用
@article{arxiv.2605.13859,
title = {BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation},
author = {Sihang Guo and Chenlin Zhou and Jiaqi Wang and Kehai Chen and Qingyan Meng and Zhengyu Ma},
journal= {arXiv preprint arXiv:2605.13859},
year = {2026}
}