LLMs 中的涌现贝叶斯行为与最优线索组合
计算与语言
2025-12-03 v1 人工智能
计算机视觉与模式识别
机器学习
神经元与认知
摘要
大语言模型(LLMs)在显式推理方面表现出色,但其隐式计算策略仍未被充分探索。数十年的心理物理学研究表明,人类在感知任务中直观地使用接近最优的贝叶斯策略来处理和整合噪声信号。我们探究 LLMs 是否表现出类似行为,并在没有显式训练或指令的情况下执行最优多模态整合。采用心理物理学范式,我们通过系统的行为研究推断 LLMs 的计算原理。我们引入了一个行为基准——BayesBench:四个量级估计任务(长度、位置、距离和持续时间),涵盖文本和图像,灵感来源于经典心理物理学,并评估了九个 LLMs 以及人类判断的校准性。通过对噪声、上下文和指令提示的系统消融,我们测量了多模态线索组合中的性能、行为和效率。除了准确性和效率指标外,我们引入了一个贝叶斯一致性分数(Bayesian Consistency Score),即使在准确性饱和时也能检测到贝叶斯一致的行为变化。我们的结果表明,虽然有能力的模型通常以贝叶斯一致的方式适应,但准确性并不能保证鲁棒性。值得注意的是,GPT-5 Mini 在文本准确性上达到了完美,但未能有效整合视觉线索。这揭示了能力与策略之间的关键分离,表明以准确性为中心的基准可能过度关注性能,而忽略了脆弱的不确定性处理。这些发现揭示了不确定性的涌现原则性处理,并强调了准确性与贝叶斯倾向之间的相关性。我们发布了我们的心理物理学基准和一致性指标(https://bayes-bench.github.io),作为评估工具并为未来的多模态架构设计提供参考。
引用
@article{arxiv.2512.02719,
title = {Emergent Bayesian Behaviour and Optimal Cue Combination in LLMs},
author = {Julian Ma and Jun Wang and Zafeirios Fountas},
journal= {arXiv preprint arXiv:2512.02719},
year = {2025}
}