LLM的多个响应能否揭示其不确定性的来源？
计算与语言
2025-09-08 v1 人工智能
摘要
大语言模型（LLMs）在各个领域取得了重大突破，但仍可能产生不可靠或误导性的输出，对现实世界应用构成了严峻挑战。尽管许多近期研究专注于量化模型不确定性，但针对诊断不确定性来源的工作相对较少。在本研究中，我们表明，当 LLM 存在不确定性时，其多个生成响应之间的分歧模式包含了关于不确定性潜在原因的丰富线索。为了说明这一点，我们从目标 LLM 收集多个响应，并利用辅助 LLM 分析它们的分歧模式。辅助模型的任务是推理不确定性的可能来源，例如其是源于输入问题的歧义、相关知识的缺乏，还是两者兼有。在涉及知识鸿沟的情况下，辅助模型还识别导致不确定性的具体缺失事实或概念。在我们的实验中，我们在 AmbigQA、OpenBookQA 和 MMLU-Pro 上验证了我们的框架，确认了其在诊断不同不确定性来源方面的通用性。这种诊断展示了通过相关人工干预提升 LLM 性能和可靠性的潜力。
引用
@article{arxiv.2509.04464,
title = {Can Multiple Responses from an LLM Reveal the Sources of Its Uncertainty?},
author = {Yang Nan and Pengfei He and Ravi Tandon and Han Xu},
journal= {arXiv preprint arXiv:2509.04464},
year = {2025}
}
备注
Proceedings of The 2025 Conference on Empirical Methods in Natural Language Processing (Findings)