LLM-as-a-Prophet：利用 Prophet Arena 理解预测智能
人工智能
2025-12-23 v2 计算与语言
机器学习
摘要
预测不仅是根本性的智力追求，也对社会系统如金融和经济具有重要意义。随着在互联网规模数据上训练的大型语言模型（LLM）的快速进步，引发了使用 LLM 预测实际世界未来事件的前景，这种新兴范式我们称为“LLM-as-a-Prophet”。本文系统性地研究了 LLM 的预测智能。为此，我们构建了 Prophet Arena，一个通用的评估基准，不断收集实际预测任务，并将每个任务分解为 distinct 的管道阶段，以支持我们的受控大规模实验。我们的全面评估表明，许多 LLM 已经展现出惊人的预测能力，体现在例如较小的校准误差、一致的预测置信度以及有前景的市场收益方面。然而，我们也发现了实现 LLM 预测智能方面的关键瓶颈，例如 LLM 对事件召回不准确、误解数据来源以及在解决趋近时信息聚合速度慢于市场。
引用
@article{arxiv.2510.17638,
title = {LLM-as-a-Prophet: Understanding Predictive Intelligence with Prophet Arena},
author = {Qingchuan Yang and Simon Mahns and Sida Li and Anri Gu and Jibang Wu and Haifeng Xu},
journal= {arXiv preprint arXiv:2510.17638},
year = {2025}
}
备注
https://www.prophetarena.co/