通过跨模型不一致性补充自我一致性：用于不确定性量化
人工智能
2026-04-21 v1
摘要
大型语言模型（LLM）常常会产生自信而错误的响应，不确定性量化是更健壮使用的潜在解决方案。近期研究常规依赖自我一致性来估计 aleatoric 不确定性（AU），但当模型过于自信并在多个样本中产生相同的错误答案时，这种代理会失效。我们分析了这一情形，表明在 AU 较低时，跨模型语义不一致在错误答案上的程度更高。基于此，我们引入一种在黑盒访问设置下计算的 epistemic 不确定性（EU）：EU 仅使用来自小规模匹配模型集合的生成文本，计算方式为在模型间序列语义相似性与模型内部序列语义相似性之间的差距。我们随后定义总不确定性（TU）为 AU 与 EU 的和。在覆盖五个 7-9B 参数的指令调优模型和十个长篇任务的全面研究中，TU 在排序校准和选择性放弃方面均优于 AU，且 EU 可靠地标记出 AU 较低的自信错误。我们进一步通过一致性和互补性诊断刻画了 EU 最有用性的情况。
引用
@article{arxiv.2604.17112,
title = {Complementing Self-Consistency with Cross-Model Disagreement for Uncertainty Quantification},
author = {Kimia Hamidieh and Veronika Thost and Walter Gerych and Mikhail Yurochkin and Marzyeh Ghassemi},
journal= {arXiv preprint arXiv:2604.17112},
year = {2026}
}