足够的硬币翻转可以让 LLM 采用贝叶斯方式
计算与语言
2025-07-01 v2 人工智能
机器学习
摘要
大型语言模型（LLM）表现出在其输入提示中通过少量示例进行泛化的能力，这一新兴能力被称为情境学习（ICL）。我们研究 LLM 是否使用 ICL 以与贝叶斯框架一致的方式进行结构化推理，或依赖模式匹配。通过受控的偏 biased 硬币翻转设置，我们发现：（1）LLM 通常具有偏置的先验，导致零样本设置下的初始偏差；（2）情境证据超过显式偏置指令；（3）LLM 广泛遵循贝叶斯后验更新，偏差主要来自误校准的先验而非错误的更新；（4）注意力大小对贝叶斯推断几乎没有影响。在通过 ICL 充分演示偏 biased 硬币翻转后，LLM 以贝叶斯方式更新其先验。
引用
@article{arxiv.2503.04722,
title = {Enough Coin Flips Can Make LLMs Act Bayesian},
author = {Ritwik Gupta and Rodolfo Corona and Jiaxin Ge and Eric Wang and Dan Klein and Trevor Darrell and David M. Chan},
journal= {arXiv preprint arXiv:2503.04722},
year = {2025}
}
备注
ACL 2025 Main