混合精度提升可信度：基准、机遇与挑战
机器学习
2025-12-01 v1
摘要
大型语言模型（LLM）在各类任务上展现出广泛的前景，但其自回归解码过程为现有AI硬件的高效部署带来了重大挑战。量化通过将权重、激活和 KV 缓存压缩到低精度来缓解内存和计算压力，同时保持生成质量。然而，现有量化框架通常侧重于囊惑度或分类准确率，往往忽略了可信度关键指标。这一差距在应用于金融、医疗等高风险领域时会带来风险。本工作系统性地调查了量化对四个可信度指标（对抗鲁棒性、公平性、机器伦理、分布外鲁棒性）的影响，识别出压缩比率和量化方法之间的不稳定性。基于这些观察，我们开发了一种新型的精度-集成投票方法，利用同一模型不同精度变体的预测，并在可信度指标上稳定地提升最高可达 。我们的结果凸显了在开发模型压缩技术时考虑可信度的重要性，指向了压缩与可信度交叉领域的研究机遇，以满足安全关键应用的需求。
引用
@article{arxiv.2511.22483,
title = {Enhancing Trustworthiness with Mixed Precision: Benchmarks, Opportunities, and Challenges},
author = {Guanxi Lu and Hao Mark Chen and Zhiqiang Que and Wayne Luk and Hongxiang Fan},
journal= {arXiv preprint arXiv:2511.22483},
year = {2025}
}
备注
ASP-DAC 2026 Special Session