超越“自然”提示：提升 LLM 语境辅助预测的策略
机器学习
2026-03-02 v2 人工智能
摘要
现实中的预测任务需要模型不仅整合历史数据，还要融合以文本形式提供的相关语境信息。尽管大语言模型（LLMs）在语境辅助预测方面显示出前景，但仍面临关键挑战：缺乏诊断工具以理解失败模式，性能远未达到潜力上限，以及高计算成本限制了实际部署。我们提出一种统一框架，包含四种策略，分别从模型诊断、准确性和效率三个正交维度解决上述局限性。通过对小型开源模型至前沿模型（包括 Gemini、GPT 和 Claude）的广泛评估，我们揭示了基本洞见和实用解决方案。我们的发现涵盖三个关键维度：诊断策略揭示了“执行差距”——模型正确解释了语境如何影响预测，但未能实际应用这种推理；准确性导向的策略实现了25%-50%的显著性能提升；效率导向的方法表明，自适应路由在小模型和大模型之间进行选择，能够在平均情况下接近大模型的准确性，同时显著降低推理成本。这些正交策略可根据部署约束灵活集成，为实践者提供了一套实用的 LLM 语境辅助预测工具包。
引用
@article{arxiv.2508.09904,
title = {Beyond Na\"ive Prompting: Strategies for Improved Context-aided Forecasting with LLMs},
author = {Arjun Ashok and Andrew Robert Williams and Vincent Zhihao Zheng and Irina Rish and Nicolas Chapados and Étienne Marcotte and Valentina Zantedeschi and Alexandre Drouin},
journal= {arXiv preprint arXiv:2508.09904},
year = {2026}
}
备注
v2: New human evaluations validating LLM-human agreement on forecast explanation accuracy of models; unified presentation of 4 strategies; and updated results with recent frontier models