LLM 能对检索到的信息持保留态度吗？
计算与语言
2026-05-11 v1
摘要
大型语言模型展示了令人印象深刻的检索增强能力。然而，一个关键领域仍待探索：它们能否根据检索信息的确定性适当地调整响应。在医学和金融等高风险领域，这一局限性会带来现实后果。我们在上下文确定性服从度上评估了八个 LLM，衡量它们将响应与所表达的上下文确定性相匹配的能力。我们的分析揭示了系统性的局限：LLM 在观察到不确定的上下文后难以回忆先验知识，误解所表达的确定性，并过度信任复杂的上下文。为解决这些问题，我们提出了一种结合先验提醒、确定性重校准和上下文简化的交互策略。该方法在不修改模型权重的情况下，将服从错误平均减少了 25%，证明了交互设计在增强 LLM 可靠性方面的有效性。我们的贡献包括一个原则性的评估指标、对 LLM 不确定性处理的经验见解，以及一种可移植的策略，以提高不同 LLM 的上下文确定性服从度。
引用
@article{arxiv.2605.06919,
title = {Can LLMs Take Retrieved Information with a Grain of Salt?},
author = {Behzad Shayegh and Mohamed Osama Ahmed and Fred Tung and Leo Feng},
journal= {arXiv preprint arXiv:2605.06919},
year = {2026}
}