OJBKQ：目标-联合 Babai-Klein 量化
机器学习
2026-02-10 v1
摘要
后训练量化 (PTQ) 广泛用于无需重新训练的情况下压缩大型语言模型。然而，许多现有的仅权重方法依赖于启发式目标和贪婪取整，导致在低位量化时出现显著性能下降。本文引入 OJBKQ (目标-联合 Babai-Klein 量化 with K-Best 取样)，这是一种分层 PTQ 方法，将权重量化表述为激活和权重之间的联合优化问题。这种表述导致每个图层中出现多个右侧箱约束整数最小二乘 (BILS) 问题，这是 NP-hard 的。对于权矩阵的每一列，我们应用扩展的 Babai 最近平面算法和扩展的 Klein 随机 Babai 算法，以寻找最小残差 Babai-Klein 点，即 BILS 问题的亚最优解。实验结果表明，OJBKQ 在大型语言模型上实现了 3-4 位的更低困惑度，同时保持可比较的计算成本。
引用
@article{arxiv.2602.08376,
title = {OJBKQ: Objective-Joint Babai-Klein Quantization},
author = {Xinyu Wang and Ziyu Zhao and Peng Lu and Yu Gu and Xiao-Wen Chang},
journal= {arXiv preprint arXiv:2602.08376},
year = {2026}
}