AutoCast++：通过零样本基于排序的上下文检索增强世界事件预测
机器学习
2024-04-22 v2
摘要
基于机器的真实世界事件预测因其辅助决策的潜力而受到关注。传统预测主要依赖时间序列等结构化数据，而语言模型的最新突破使得利用非结构化文本进行预测成为可能。特别地，（Zou 等，2022）发布了 AutoCast，一种采用新闻文章回答预测查询的新基准。然而，现有方法仍落后于人类表现。我们认为，准确预测的关键在于从海量语料中识别出简洁而丰富的新闻片段子集。受此驱动，我们引入 AutoCast++，一种零样本基于排序的上下文检索系统，专为在海量新闻文档集合中筛选以进行事件预测而设计。我们的方法首先基于零样本问题—段落相关性对文章重新排序，聚焦于语义相关的新闻。随后，所选文章经过零样本摘要以获得简洁上下文。借助预训练语言模型，我们在无需领域特定训练的情况下进行相关性评估与文章摘要。值得注意的是，由于新事实或意外事件，近期文章有时可能与先前文章相左，导致时间动态波动。为此，我们的重排序机制偏好较新文章，并进一步正则化多段落表示学习以与不同日期做出的人类预测者响应相对齐。实证结果在多项指标上显示出显著改进，将多选题（MCQ）性能提升 48%，判断题（TF）性能提升至多 8%。代码见 https://github.com/BorealisAI/Autocast-plus-plus。
引用
@article{arxiv.2310.01880,
title = {AutoCast++: Enhancing World Event Prediction with Zero-shot Ranking-based Context Retrieval},
author = {Qi Yan and Raihan Seraj and Jiawei He and Lili Meng and Tristan Sylvain},
journal= {arXiv preprint arXiv:2310.01880},
year = {2024}
}
备注
ICLR 2024