初始化决定优化盆地：面向极端LLM量化的高效码本优化
计算与语言
2026-04-10 v1 机器学习
摘要
加性量化能够实现极端LLM压缩，并具有O(1)查找表反量化特性，使其在边缘部署中颇具吸引力。然而，在2比特精度下，即使经过大量搜索和微调，它也常常灾难性地失败。我们表明，主要的瓶颈在于码本初始化。贪婪的序列初始化常常将模型置于较差的优化区域，后续的束搜索和PV调优难以克服。我们通过表示比ρ = N/KM来分析这种行为，该比率表征了权重组与码本容量之间的关系，并提出了OA-EM，一种使用Hessian加权马氏距离的、具有输出感知能力的EM初始化方法。在不同的压缩率、搜索预算以及三种架构（Llama 3.2 3B、Llama 3.1 8B、Qwen 2.5 3B）上，OA-EM在PV调优后始终能产生更好的解，并主导了质量-计算前沿。瓶颈的严重程度随ρ缩放：在3 bpp时中等，但在2 bpp时极端，此时不良初始化可能导致困惑度下降数个数量级。更广泛地说，我们的结果凸显了优化几何在压缩模型空间中的重要性，其中初始化可能主导后续的搜索和微调。
引用
@article{arxiv.2604.08118,
title = {Initialisation Determines the Basin: Efficient Codebook Optimisation for Extreme LLM Quantization},
author = {Ian W. Kennedy and Nafise Sadat Moosavi},
journal= {arXiv preprint arXiv:2604.08118},
year = {2026}
}
备注
9 pages (+ references and appendix). Under review at ACL Rolling Review