Fair-GPTQ：面向大语言模型的偏感知的量化方法
计算与语言
2026-02-03 v2
摘要
生成语言模型的高内存需求引起了人们对量化的关注，量化通过将模型权重映射到低精度整数来降低计算成本、内存使用和延迟。GPTQ等方法在量化过程中有效最小化了输入-权重乘积误差；然而，近期的实证研究表明它们可能增加有偏输出并降低在公平性基准上的性能，而且目前尚不清楚哪些具体权重导致了这一问题。在本工作中，我们通过向量化目标添加显式的组公平性约束，在量化与模型公平性之间建立了新的联系，并提出了Fair-GPTQ——首个专门设计用于减少大语言模型不公平性的量化方法。添加的约束引导舍入操作的学习方向，使其对受保护群体生成更无偏的文本。具体而言，我们聚焦于涉及职业偏见以及跨越性别、种族和宗教的歧视性语言的刻板印象生成。Fair-GPTQ对性能的影响极小，在零样本基准上至少保持了基线准确率的90%，相对于半精度模型降低了不公平性，并保留了4位量化的内存和速度优势。我们还将Fair-GPTQ与现有的去偏方法进行了比较，发现它在种族刻板印象基准上的性能与迭代零空间投影去偏方法相当。总体结果验证了我们关于带组偏项的量化问题的理论解决方案，突出了其在量化时减少组偏见的适用性，并展示了我们的方法可进一步用于分析量化过程中信道和权重对公平性的贡献。
引用
@article{arxiv.2509.15206,
title = {Fair-GPTQ: Bias-Aware Quantization for Large Language Models},
author = {Irina Proskurina and Guillaume Metzler and Julien Velcin},
journal= {arXiv preprint arXiv:2509.15206},
year = {2026}
}