LittleBit-2：通过潜在几何对齐最大化亚1位LLM的谱能量增益
机器学习
2026-05-05 v2 人工智能
摘要
我们识别了在极端模型压缩中实现谱能量增益的现象，即低秩二进制近似值在重尾谱上优于小秩浮点基线。然而，先前的尝试未能实现这一潜力，滞后于最先进的1位方法。我们将这种下降归因于潜在几何错位：标准奇异向量具有高一致性（呈锐利分布），这是二进制量化的最差几何。为实现这一收益，我们提出LittleBit-2，一个采用内部潜在旋转和联合迭代量化（Joint-ITQ）的框架。该方法充当几何预条件器，将一致性潜在分布与二进制超立方体对齐，推理开销为零。经验上，LittleBit-2在Llama-2和Llama-3上建立了亚1位（1~0.1 bpp） regime 的新型最先进技术，匹配领先1位基线的保真度。
引用
@article{arxiv.2603.00042,
title = {LittleBit-2: Maximizing the Spectral Energy Gain in Sub-1-Bit LLMs via Latent Geometry Alignment},
author = {Banseok Lee and Youngmin Kim},
journal= {arXiv preprint arXiv:2603.00042},
year = {2026}
}