超越 "我不知道"：评估 LLM 在判别数据不确定性与模型不确定性方面的自我意识
计算与语言
2026-04-21 v1
摘要
可靠的大型语言模型(LLM)应在信心不足时选择放弃。然而，先前的研究常将拒绝简单地视为 "我不知道"，未能区分输入层面的模糊性(数据不确定性)与能力限制(模型不确定性)。这种缺乏区分性限制了下游决策，如请求澄清或调用外部工具。在本工作中，我们引入了 UA-Bench，这是一个由超过 3500 个问题构成的基准测试，涵盖六个数据集，涉及知识密集型和推理密集型任务，旨在评估明确的不确定性归因。对 18 个前沿 LLM 的评估显示，甚至最先进的模型在可靠判别数据不确定性与模型不确定性方面仍存在挑战；且高答案准确率并不一定意味着强大的不确定性归因能力。为缩小这一差距，我们提出了一种轻量级数据合成与强化学习策略。在 Qwen3-4B-Instruct-2507 和 Qwen3-8B 的思考模式实验中，证明所提方法在保持答案准确性的同时提升了不确定性归因能力。我们的代码和数据已公开 availability。
引用
@article{arxiv.2604.17293,
title = {Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty},
author = {Jingyi Ren and Ante Wang and Yunghwei Lai and Xiaolong Wang and Linlu Gong and Weitao Li and Weizhi Ma and Yang Liu},
journal= {arXiv preprint arXiv:2604.17293},
year = {2026}
}