通过关键权重保护保持量化 LLM 中的公平性与安全性
计算与语言
2026-01-21 v1
摘要
量化被广泛用于降低大型语言模型（LLM）的计算成本；然而，其对公平性和安全性的影响，特别是在动态量化和多语言环境中，仍未得到充分探索。在这项工作中，我们系统地研究了静态和动态量化方法如何影响衡量内在和外在偏差及安全对齐的基准上的公平性与安全性。对于公平性，我们评估了英语、法语、荷兰语、西班牙语和土耳其语；对于安全性，我们重点关注英语、韩语和阿拉伯语。我们的发现表明，量化持续地降低了公平性和安全性，其中动态方法比静态方法表现出更强的稳定性。此外，公平性的退化在不同语言间存在差异，而安全性的恶化在非英语环境中尤为明显。为了应对这些风险，我们引入了关键权重保护，这是一种在量化过程中识别并保留对公平性和安全性至关重要的权重的新技术。该方法有效地减轻了偏差和安全性的退化，无需昂贵的重新训练或对齐，在保持效率的同时维护了可信性。
引用
@article{arxiv.2601.12033,
title = {Preserving Fairness and Safety in Quantized LLMs Through Critical Weight Protection},
author = {Muhammad Alif Al Hakim and Alfan Farizki Wicaksono and Fajri Koto},
journal= {arXiv preprint arXiv:2601.12033},
year = {2026}
}