DBellQuant：双铃变换突破 Bell 限制的 LLM 后训练二值化
机器学习
2026-01-30 v2
摘要
大型语言模型（LLM）表现卓越，但面临计算和内存的重大挑战，限制其实际部署。量化已成为有前景的解决方案，但其有效性往往受限于权重分布不利于量化以及激活异常值的量化误差。为解决这些挑战，我们引入 DBellQuant，一种创新的 post-training 量化（PTQ）框架，实现接近 1 位权重压缩和 6 位激活量化，同时保持最小性能退化。DBellQuant 使用 Learnable Transformation for Dual-Bell (LTDB) 算法，将单铃权重分布转换为双铃形式以减少二值化误差，并对激活应用逆变换以平滑化。DBellQuant 在激进的权重和激活量化下，保持卓越的模型性能，创下新纪录。例如，在 Wikitext2 数据集上，DBellQuant 对 LLaMA2-13B 实现 6 位激活量化时的 perplexity 为 14.39，显著优于 BiLLM 在无激活量化时的 21.35，凸显其在压缩 LLM 以适用于实际应用中的潜力。
引用
@article{arxiv.2507.01027,
title = {DBellQuant: Breaking the Bell with Double-Bell Transformation for LLMs Post Training Binarization},
author = {Zijian Ye and Wei Huang and Yifei Yu and Tianhe Ren and Zhongrui Wang and Xiaojuan Qi},
journal= {arXiv preprint arXiv:2507.01027},
year = {2026}
}
备注
19 pages; Appendix added