OpenPI2.0：一个改进的文本实体追踪数据集
计算与语言
2024-01-26 v2
摘要
大量文本描述了不断变化的世界（例如流程、故事、新闻电讯），理解这些文本需要追踪实体如何变化。早期的数据集 OpenPI 提供了众包的文本中实体状态变化标注。然而，一个主要局限在于这些标注为自由形式，且未标识显著变化，阻碍了模型评估。为克服这些局限，我们提出一个改进的数据集 OpenPI2.0，其中实体与属性被完全规范化，并增加了实体显著性标注。在我们更公平的评估设定下，发现当前最先进的语言模型远未具备胜任能力。我们还展示了将显著实体的状态变化用作思维链提示，可提升问答与经典规划等任务的下游性能，优于不加区分地涉及所有相关实体的设定。我们提供 OpenPI2.0 以持续推进能够理解文本中实体动态变化的模型开发。
引用
@article{arxiv.2305.14603,
title = {OpenPI2.0: An Improved Dataset for Entity Tracking in Texts},
author = {Li Zhang and Hainiu Xu and Abhinav Kommula and Chris Callison-Burch and Niket Tandon},
journal= {arXiv preprint arXiv:2305.14603},
year = {2024}
}
备注
In EACL 2024