重新思考大语言模型不确定性：基于多智能体方法的黑箱模型不确定性估计
计算与语言
2025-10-22 v2
摘要
量化黑箱大语言模型（LLM）中的不确定性对于可靠响应和可扩展的监督至关重要。现有方法通过评估模型对目标查询的自我一致性来衡量不确定性，但可能误导：当 LLM 对目标查询 confidently 提出错误答案时，却可能在对该查询进行保持知识的扰动后，给出 confident 且准确的答案。我们系统分析了模型行为，表明这一差异源于参数化知识的次优检索，常常是由于上下文偏见导致无法一致访问存储的知识。随后，我们引入 DiverseAgentEntropy（多智能体熵），一种新颖且理论依据严密的方法，利用多智能体在多样化查询变体中的交互来估计黑箱 LLM 的不确定性。该方法更准确地评估 LLM 的真实不确定性，改进了幻觉检测，显著优于基于自我一致性的现有技术。
引用
@article{arxiv.2412.09572,
title = {Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty},
author = {Yu Feng and Phu Mon Htut and Zheng Qi and Wei Xiao and Manuel Mager and Nikolaos Pappas and Kishaloy Halder and Yang Li and Yassine Benajiba and Dan Roth},
journal= {arXiv preprint arXiv:2412.09572},
year = {2025}
}
备注
EMNLP 2025 Findings