Matterhorn：基于掩码化时间到首次放电编码的高效类稀疏脉冲变换器架构
机器学习
2026-02-02 v1
摘要
脉冲神经网络（SNNs）因其能效优势而成为高效大语言模型推理的有前景的候选方案。然而，当前对SNNs的能耗评估主要聚焦于计数累加运算，未能考虑数据移动等实际硬件成本——后者可占总能耗近80%。本文提出了Matterhorn，一种集成新颖掩码化时间到首次放电编码（M-TTFS）以减少脉冲移动、并采用记忆体突触单元（MSU）以消除权重访问开销的脉冲变换器。M-TTFS采用掩码策略，将零能耗静默状态（全0脉冲序列）重新分配至最常见的膜电位，而非最低电位。此举使编码方案与数据分布一致，在不损失信息的前提下最小化脉冲移动能耗。我们进一步提出“死区”策略，通过将给定范围内的所有数值映射至静默状态来实现稀疏性最大化。在硬件层面，MSU采用计算存储（CIM）技术，在存储器中直接执行模拟积分，从而有效消除权重访问成本。在GLUE基准测试中，Matterhorn实现了新的状态突破，平均准确率提升1.42%，能效提升2.31倍。
引用
@article{arxiv.2601.22876,
title = {Matterhorn: Efficient Analog Sparse Spiking Transformer Architecture with Masked Time-To-First-Spike Encoding},
author = {Zhanglu Yan and Kaiwen Tang and Zixuan Zhu and Zhenyu Bai and Qianhui Liu and Weng-Fai Wong},
journal= {arXiv preprint arXiv:2601.22876},
year = {2026}
}