ForecastQA：基于时序文本数据的事件预测问答挑战
机器学习
2021-06-09 v4 机器学习
摘要
事件预测是一项具有挑战性却十分重要的任务，因为人类不断寻求对未来进行规划。现有的自动化预测研究主要依赖结构化数据，如时间序列或基于事件的图谱，来帮助预测未来事件。在本工作中，我们旨在形式化一项任务、构建一个数据集并提供基准，以开发基于大量非结构化文本数据的事件预测方法。为模拟时序新闻文档上的预测场景，我们将问题形式化为受限域、多选、问答（QA）任务。与现有 QA 任务不同，我们的任务限制可访问信息，因此模型必须作出预测性判断。为展示该任务形式化的用处，我们引入了 ForecastQA，一个包含 10,392 个事件预测问题的问答数据集，这些问题通过众包工作收集并验证。我们使用基于 BERT 的模型在 ForecastQA 上进行了实验，发现我们的最佳模型在数据集上达到 60.1% 的准确率，仍落后人类表现约 19%。我们希望 ForecastQA 能支持未来缩小此差距的研究努力。
引用
@article{arxiv.2005.00792,
title = {ForecastQA: A Question Answering Challenge for Event Forecasting with Temporal Text Data},
author = {Woojeong Jin and Rahul Khanna and Suji Kim and Dong-Ho Lee and Fred Morstatter and Aram Galstyan and Xiang Ren},
journal= {arXiv preprint arXiv:2005.00792},
year = {2021}
}
备注
Accepted to ACL 2021. Project page: https://inklab.usc.edu/ForecastQA/