NeuronSpark：带选择性状态空间动力学的脉冲神经网络语言模型
人工智能
2026-03-18 v1
摘要
我们探讨了纯脉冲背板是否能从随机初始化开始，通过不依赖 Transformer 蒸馊来学习大规模语言建模。我们引入了 NeuronSpark，这是一个 9 亿参数的 SNN 语言模型，采用 next-token 预测和 surrogate 梯度进行训练。该模型结合了选择性状态空间脉冲动力学、漏电流跨层通信、PonderNet 自适应时间步长、融合 Triton PLIF kernel，以及稳定技术（残差居中、侧抑制归一化和自然梯度补偿）。在受限预算（约 14 亿预训练标记和 6500 步 SFT）下，NeuronSpark-0.9B 达到 3.6 的预训练损失，并在 SFT 后表现出早期多轮对话行为。这些结果支持了以纯 SNN 架构在此规模下进行端到端语言建模的可行性。
引用
@article{arxiv.2603.16148,
title = {NeuronSpark: A Spiking Neural Network Language Model with Selective State Space Dynamics},
author = {Zhengzheng Tang},
journal= {arXiv preprint arXiv:2603.16148},
year = {2026}
}
备注
10 pages, 6 figures, 6 tables. Preprint