从证据到信念：基于贝叶斯认识论的语言模型研究
人工智能
2025-04-29 v1
摘要
本文从贝叶斯认识论视角考察语言模型的知识。我们探讨了当语言模型面对信息性和可靠性各异的证据时，如何调整其置信度和响应。为研究这些特性，我们构建了一个包含多种类型证据的数据集，并利用口头化置信度、标记概率和抽样方法分析语言模型的响应和置信水平。我们观察到，语言模型并不始终遵循贝叶斯认识论：语言模型在面对真实证据时，较好地遵循贝叶斯确认假设，但在面对不同类型的证据时，未能遵守其他贝叶斯假设。此外，我们证明了语言模型在获得强证据时可能表现出高置信度，但这并不总是保证高准确率。我们的分析还揭示了语言模型对黄金证据存在偏倚，且在证据相关性程度不同时表现出差异，这有助于解释它们为何偏离贝叶斯假设。
引用
@article{arxiv.2504.19622,
title = {From Evidence to Belief: A Bayesian Epistemology Approach to Language Models},
author = {Minsu Kim and Sangryul Kim and James Thorne},
journal= {arXiv preprint arXiv:2504.19622},
year = {2025}
}