BitNet v2：面向1位LLM的原生4位激活搭配哈达巴赫变换
计算与语言
2025-06-16 v2 机器学习
摘要
1位大型语言模型（LLM）的高效部署受到激活离群值的制约，这些值使低位宽量化变得复杂。我们提出BitNet v2，一种新型框架，使1位LLM能够实现原生4位激活量化。为解决注意力和前馈网络激活中的离群值问题，我们提出H-BitLinear模块，在激活量化前应用在线哈达巴赫变换。该变换将锐利的激活分布平滑为更接近高斯分布的形式，适合低位表示。实验表明，采用8位激活训练的BitNet v2可匹配BitNet b1.58的性能。关键的是，BitNet v2在采用原生4位激活训练时几乎不产生性能下降，显著降低了批量推理的内存占用和计算成本。
引用
@article{arxiv.2504.18415,
title = {BitNet v2: Native 4-bit Activations with Hadamard Transformation for 1-bit LLMs},
author = {Hongyu Wang and Shuming Ma and Furu Wei},
journal= {arXiv preprint arXiv:2504.18415},
year = {2025}
}
备注
Work in progress