基于信息提升统计的LLM输出选择性风险认证：PAC-Bayes、鲁棒性与骨架设计
机器学习
2025-11-20 v3 机器学习
摘要
大型语言模型经常产生自信但错误的输出，这产生了对具有形式弃权保证的可靠不确定性量化的关键需求。我们引入了信息提升证书，将模型概率与骨架基线进行比较，通过次伽马 PAC-Bayes 界积累证据，这些界限在标准集中不等式失效的重尾分布下仍然有效。在八个不同的数据集上，我们的方法在 2% 的风险下实现了 77.0% 的覆盖率，平均比最近的基线高出 10.0 个百分点。在高风险场景中，与基于熵的方法的 18-31% 相比，我们阻止了 96% 的关键错误。虽然我们基于频率的认证不能保证严重性加权的安全性，并且依赖于骨架质量，但在分布偏移下性能会优雅下降，使该方法适用于实际部署。
引用
@article{arxiv.2509.12527,
title = {Selective Risk Certification for LLM Outputs via Information-Lift Statistics: PAC-Bayes, Robustness, and Skeleton Design},
author = {Sanjeda Akter and Ibne Farabi Shihab and Anuj Sharma},
journal= {arXiv preprint arXiv:2509.12527},
year = {2025}
}