探讨量化方法对大型语言模型安全性与可靠性的影响
密码学与安全
2025-07-01 v2 人工智能
摘要
大型语言模型（LLM）是强大的现代应用工具，但其计算需求限制了可及性。量化可提供效率提升，但其对安全性和可信度的影响仍鲜为人知。为此，我们引入OpenMiniSafety——一个人工筛选的安全数据集，包含1.067个具有挑战性的问题，用于严格评估模型行为。我们公开发布了针对四个大型语言模型（包括量化和全精度版本）的人类安全评估，总计4.268对标注好的问答对。通过评估这些模型的66个量化变体，采用四种后训练量化（PTQ）和两种量化感知训练（QAT）方法，以及包括人类中心评估在内的四个安全基准测试，我们揭示了关键的安全性能权衡。我们的结果表明，PTQ和QAT都可能降低安全对齐水平，其中QLORA或STE等QAT技术表现较差。没有单一方法在基准测试、精度设置或模型方面始终优于他人，这凸显了面向安全压缩策略的必要性。此外，精度专用方法（如4位的QUIK和AWQ，2位的AQLM和Q-PET）在其目标精度上表现出色，这表明这些方法并非在压缩效果上更好，而是采取了不同方法。
引用
@article{arxiv.2502.15799,
title = {Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models},
author = {Artyom Kharinaev and Viktor Moskvoretskii and Egor Shvetsov and Kseniia Studenikina and Bykov Mikhail and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2502.15799},
year = {2025}
}