SpikeLM：通过弹性双脉冲机制迈向通用脉冲驱动语言建模
神经与进化计算
2024-06-06 v1 计算与语言
机器学习
摘要
为了追求类似人脑的节能人工智能，受生物启发的脉冲神经网络（SNN）具有生物合理性、事件驱动稀疏性和二元激活的优势。最近，大规模语言模型展现出有前景的泛化能力，使得探索更通用的脉冲驱动模型成为一个有价值的问题。然而，现有SNN中的二元脉冲无法编码足够的语义信息，给泛化带来了技术挑战。本文提出了首个用于通用语言任务（包括判别式和生成式任务）的全脉冲机制。与之前具有{0,1}电平的脉冲不同，我们提出了一种更通用的脉冲公式，具有双向、弹性幅度和弹性频率编码，同时仍然保持SNN的加法性质。在单个时间步内，脉冲通过方向和幅度信息得到增强；在脉冲频率方面，精心设计了一种控制脉冲发放率的策略。我们将这种弹性双脉冲机制嵌入到语言建模中，命名为SpikeLM。这是首次使用全脉冲驱动模型处理通用语言任务，其精度远高于以往可能达到的水平。SpikeLM还大大缩小了SNN和ANN在语言建模中的性能差距。我们的代码可在https://github.com/Xingrun-Xing/SpikeLM获取。
引用
@article{arxiv.2406.03287,
title = {SpikeLM: Towards General Spike-Driven Language Modeling via Elastic Bi-Spiking Mechanisms},
author = {Xingrun Xing and Zheng Zhang and Ziyi Ni and Shitao Xiao and Yiming Ju and Siqi Fan and Yequan Wang and Jiajun Zhang and Guoqi Li},
journal= {arXiv preprint arXiv:2406.03287},
year = {2024}
}