Fairy2i：从真实 LLM 训练复杂 LLM，所有参数均为 {±1, ±i}
机器学习
2026-01-30 v3 人工智能
摘要
大型语言模型（LLM）已彻底变革了人工智能领域，但其巨大的内存和计算需求迫使人们采取激进的量化技术，日益逼近单比特的理论极限。虽然复杂值 LLM（如 iFairy）在低比特表示方面相较于实值模型拥有更好的机会，但它们需要从头训练，无法利用现有的海量预训练实值基础模型生态。本文提出了 Fairy2i，一个通用框架，将预训练的实值层转换为等价的广义线性复数形式，从而实现极端低比特量化，同时复用现有模型检查点。通过证明实值映射与广义线性映射之间无损的数学等价性，我们将标准 Transformer 转换为复数域，并采用基于相位的量化方案，运用四根单位根的高效码本。此外，我们引入递归残差量化机制，迭代最小化量化误差，使推理能够通过高效的无乘法累加进行。我们展示了 Fairy2i 在恢复 LLaMA-2 7B 的性能方面，将有效 2 位精度提升至接近全精度基准的水平，显著优于最新的实值二值化和三值化方法。该工作搭建了复数算术表征效率与预训练模型实用性之间的鸿沟，为在普通硬件上实现高效推理开辟了新道路。我们开源了 Fairy2i 模型和代码，地址为 https://huggingface.co/PKU-DS-LAB/Fairy2i-W2 和 https://github.com/PKULab1806/Fairy2i-W2。
引用
@article{arxiv.2512.02901,
title = {Fairy2i: Training Complex LLMs from Real LLMs with All Parameters in $\{\pm 1, \pm i\}$},
author = {Feiyu Wang and Xinyu Tan and Bokai Huang and Yihao Zhang and Guoan Wang and Peizhuang Cong and Tong Yang},
journal= {arXiv preprint arXiv:2512.02901},
year = {2026}
}
备注
15 pages, 3 figures