LLM 信念更新是否符合贝叶斯定理？
计算与语言
2025-07-25 v1 人工智能
摘要
更大更强大的语言模型在原位呈现证据后，是否学习得更一致地更新关于命题的“信念”？为此，我们构建贝叶斯一致性系数（Bayesian Coherence Coefficient, BCC）指标，并生成用于衡量 BCC 的数据集。我们测量多个预训练-only 语言模型的 BCC，跨越五个模型家族，比较模型参数数量、训练数据量以及在常见基准测试中的得分。我们的结果为我们的假设提供了证据，即更大更强大的预训练语言模型分配的信念更符合贝叶斯定理。这些结果对我们理解和治理 LLM 具有重要意义。
引用
@article{arxiv.2507.17951,
title = {Are LLM Belief Updates Consistent with Bayes' Theorem?},
author = {Sohaib Imran and Ihor Kendiukhov and Matthew Broerman and Aditya Thomas and Riccardo Campanella and Rob Lamb and Peter M. Atkinson},
journal= {arXiv preprint arXiv:2507.17951},
year = {2025}
}
备注
Accepted at the ICML 2025 Workshop on Assessing World Models