1 位 AI 基础设施：第一部分 1.1，基于 CPU 的快速无损 BitNet b1.58 推理
计算与语言
2024-10-24 v2
摘要
近期发展如 BitNet 和 BitNet b1.58 等 1 位大型语言模型 (LLM)，为提升 LLM 在速度和能耗方面的效率提供了前景，这些发展也使得在广泛范围的设备上本地部署 LLM 成为可能。本文引入 bitnet.cpp，一套为 1 位 LLM 量身打造的软件堆栈，以释放 1 位 LLM 的潜能。具体而言，我们开发了一套内核，支持在 CPU 上对三值 BitNet b1.58 LLM 进行快速无损推理。广泛的实验表明，bitnet.cpp 在 x86 CPU 上实现了从 2.37 倍到 6.17 倍的显著加速，在 ARM CPU 上实现从 1.37 倍到 5.07 倍的加速，适用于各种模型规模。代码已在 https://github.com/microsoft/BitNet 上提供。
引用
@article{arxiv.2410.16144,
title = {1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs},
author = {Jinheng Wang and Hansong Zhou and Ting Song and Shaoguang Mao and Shuming Ma and Hongyu Wang and Yan Xia and Furu Wei},
journal= {arXiv preprint arXiv:2410.16144},
year = {2024}
}