LLM 并非（一致的）贝叶斯方法：量化 LLM 概率信念的内部（不）一致性
机器学习
2026-05-28 v2
摘要
现代 AI 系统正被部署于医学、科学和法律等复杂领域，在这些领域中，它们不仅要产生正确的答案，还要在新证据出现时表示并更新关于世界的不确定信念，这一点至关重要。我们引入了将 LLM 作为信息处理规则进行研究的新颖技术，并利用信息处理间隙来研究 LLM 如何从证据中更新其概率信念的内部（不）一致性。我们的广泛实验评估了 LLM 将证据纳入其信念的多种方法。其中一些方法产生了（近乎）贝叶斯更新；另一些似乎使用了学习到的启发式方法。令人惊讶的是，在下游任务性能方面，非贝叶斯启发式更新往往优于精确的贝叶斯计算——这表明 LLM 对世界的概率模型存在误设。最后，我们展示了我们的度量如何为识别 LLM 驱动的推理系统的问题提供诊断。
引用
@article{arxiv.2605.06915,
title = {LLMs are not (consistently) Bayesian: Quantifying internal (in)consistencies of LLMs' probabilistic beliefs},
author = {Chacha Chen and Matthew Jörke and Adam Goliński and Masha Fedzechkina and Guillermo Sapiro and Sinead Williamson and Nicholas Foti},
journal= {arXiv preprint arXiv:2605.06915},
year = {2026}
}