中文

上下文是关键:利用关键文本信息进行预测的基准

机器学习 2025-06-06 v4 人工智能 机器学习

摘要

预测是众多领域决策中的关键任务。虽然历史数值数据提供了一个起点,但它们无法传达可靠和准确预测所需的完整上下文。人类预测者经常依赖额外信息,例如背景知识和约束条件,这些可以通过自然语言高效地传达。然而,尽管基于LLM的预测器最近取得了进展,但它们有效整合这些文本信息的能力仍然是一个悬而未决的问题。为了解决这个问题,我们引入了“上下文是关键”(CiK),一个时间序列预测基准,它将数值数据与精心设计的各种类型的文本上下文配对,要求模型整合两种模态;至关重要的是,CiK中的每个任务都需要理解文本上下文才能成功解决。我们评估了一系列方法,包括统计模型、时间序列基础模型和基于LLM的预测器,并提出了一种简单而有效的LLM提示方法,该方法在我们的基准上优于所有其他测试方法。我们的实验强调了整合上下文信息的重要性,展示了使用基于LLM的预测模型时的惊人性能,同时也揭示了它们的一些关键缺陷。该基准旨在通过促进既准确又可供具有不同技术专长的决策者使用的模型,来推进多模态预测。该基准可在 https://servicenow.github.io/context-is-key-forecasting/v0/ 可视化。

关键词

引用

@article{arxiv.2410.18959,
  title  = {Context is Key: A Benchmark for Forecasting with Essential Textual Information},
  author = {Andrew Robert Williams and Arjun Ashok and Étienne Marcotte and Valentina Zantedeschi and Jithendaraa Subramanian and Roland Riachi and James Requeima and Alexandre Lacoste and Irina Rish and Nicolas Chapados and Alexandre Drouin},
  journal= {arXiv preprint arXiv:2410.18959},
  year   = {2025}
}

备注

ICML 2025. First two authors contributed equally