中文

LLM预测能力的分配不均:我们提问的方式决定了其预测能力

机器学习 2025-11-25 v1

摘要

大语言模型(LLM)在社会、政治和经济等领域展现出部分预测能力,但其预测水平随领域结构和提问方式而显著变化。我们研究不同模型家族在关于模型截止日期之后事件的真实问题上的预测表现。我们分析情境、问题类型和外部知识如何影响准确率与校准程度,以及添加事实性新闻情境对信念形成及其失效模式的影响。我们的结果表明,预测能力高度依赖我们提问的“是什么”与“如何提问”。

关键词

引用

@article{arxiv.2511.18394,
  title  = {Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking},
  author = {Chinmay Karkar and Paras Chopra},
  journal= {arXiv preprint arXiv:2511.18394},
  year   = {2025}
}