Bitnet.cpp: 三值大语言模型的高效边缘推理
机器学习
2025-02-18 v1 人工智能
计算与语言
分布式、并行与集群计算
摘要
以 BitNet b1.58 为代表的 1 位大语言模型（LLM）的出现激发了对三值 LLM 的研究兴趣。尽管如此，针对三值 LLM 高效边缘推理的研究和实际应用仍然稀缺。为了弥补这一差距，我们引入了 Bitnet.cpp，一个针对 BitNet b1.58 和三值 LLM 优化的推理系统。由于混合精度矩阵乘法（mpGEMM）构成了三值 LLM 推理时间的主体，Bitnet.cpp 包含了一个新颖的 mpGEMM 库，用于实现每权重亚 2 比特的高效无损推理。该库包含两个核心方案：三值查找表（TL），用于解决先前逐位方法的空间低效问题；以及带缩放的 Int2（I2_S），用于确保无损边缘推理，两者共同实现高速推理。我们的实验表明，Bitnet.cpp 相比全精度基线实现了高达 6.25 倍的速度提升，相比低位基线实现了高达 2.32 倍的提升，树立了该领域的新基准。此外，我们在附录中将 TL 扩展为元素级查找表（ELUT），用于低位 LLM，并提供了理论和实证证据证明其巨大潜力。Bitnet.cpp 在 https://github.com/microsoft/BitNet/tree/paper 公开可用，为边缘 LLM 的高效实用部署提供了精巧的解决方案。
引用
@article{arxiv.2502.11880,
title = {Bitnet.cpp: Efficient Edge Inference for Ternary LLMs},
author = {Jinheng Wang and Hansong Zhou and Ting Song and Shijie Cao and Yan Xia and Ting Cao and Jianyu Wei and Shuming Ma and Hongyu Wang and Furu Wei},
journal= {arXiv preprint arXiv:2502.11880},
year = {2025}
}
备注
18 pages, 11 figures