iFairy：面向全参数为 {±1, ±i} 的 2 位复数 LLM 的第一个实现

量化感知训练（Quantization-Aware Training, QAT）将量化过程嵌入训练循环，使大语言模型能够学习鲁棒的低位宽表示，被广泛认为是最具前景的研究方向之一。目前所有 QAT 研究都聚焦于最小化全精度模型上的量化误差，其中全精度准确率作为上限（准确率 ceiling）。尚无方法尝试超越这一 ceiling。为突破这一瓶颈，我们提出一种新范式：提升上限（全精度模型），随后高效地将其量化至 2 位。我们提出 Fairy±i，即复数 LLM 的首个 2 位量化框架。具体而言，该方法利用复数域的表征优势提升全精度准确率。将权重映射至四根单位根 {±1, ±i}，形成完全对称且信息论最优的 2 位表示。重要的是，每一 quantized 权重的实部或虚部为零，能够实现无乘法推理，仅需加法和元素交换。实验结果表明，Fairy±i 在 PPL 和下游任务中均优于现有 2 位量化方法的上限，同时保持严格的存储与计算效率。这一工作为构建在极端低位宽约束下的高精度实用 LLM 开辟了新方向。