语言模型的不确定性量化：黑箱、白箱、LLM Judge 与集成评分器套件
计算与语言
2026-01-29 v4 人工智能
机器学习
摘要
幻觉是大型语言模型（Large Language Model, LLM）面临的持续性问题。随着这些模型在医疗和金融等高风险领域的应用增多，对有效幻觉检测的需求日益紧迫。为此，本文概述了一个可用于实际应用的灵活框架，用于闭卷幻觉检测。为实现此目标，我们改造了多种现有不确定性量化（Uncertainty Quantization, UQ）技术，包括黑箱 UQ、白箱 UQ 和 LLM 作为评判器（LLM-as-a-Judge），必要时将其转化为范围为 0 到 1的统一响应级别置信度分数。为提升灵活性，我们提出一种可调集成方法，整合各个置信度分数的任意组合。这种方法使实践者能够针对特定用例优化集成以获得更佳性能。为简化实现，本文随附的 Python 工具包 UQLM 提供了完整的评分器套件。为评估各类评分器性能，我们在多个 LLM 问答基准数据集上进行了大量实验。我们发现，可调集成通常优于其单个组件，甚至超越现有幻觉检测方法。我们的结果表明，为提高 LLM 的准确性和可靠性，定制化的幻觉检测策略具有显著优势。
引用
@article{arxiv.2504.19254,
title = {Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers},
author = {Dylan Bouchard and Mohit Singh Chauhan},
journal= {arXiv preprint arXiv:2504.19254},
year = {2026}
}
备注
Accepted by TMLR; UQLM repository: https://github.com/cvs-health/uqlm