程序文本中实体与事件的因果推理
计算与语言
2023-02-17 v3
摘要
实体与事件对自然语言推理至关重要，且普遍存在于程序文本中。现有工作要么仅关注实体状态追踪（如平底锅是否热），要么仅关注事件推理（如触摸平底锅是否会烫伤自己），而这两类任务常具有因果关系。我们提出CREPE，首个关于事件合理性与实体状态的因果推理基准。结果表明，多数语言模型（包括GPT-3）的F1仅接近随机水平（.35），远落后于人类（.87 F1）。通过将事件创造性地表示为编程语言并提示在代码上预训练的语言模型，我们将模型性能提升至.59 F1。通过在表示中注入实体与事件间的因果关系作为中间推理步骤，我们进一步将性能提升至.67 F1。我们的发现不仅表明CREPE给语言模型带来的挑战，也证明了类代码提示结合思维链提示在多跳事件推理中的有效性。
引用
@article{arxiv.2301.10896,
title = {Causal Reasoning of Entities and Events in Procedural Texts},
author = {Li Zhang and Hainiu Xu and Yue Yang and Shuyan Zhou and Weiqiu You and Manni Arora and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2301.10896},
year = {2023}
}
备注
In Findings of EACL 2023