基于 WikiHow 对目标、步骤与时间顺序的推理
计算与语言
2020-12-15 v2
摘要
我们提出了一套针对程序性事件两类关系的推理任务：目标-步骤关系（“学习姿势”是“做瑜伽”这一更大目标中的一步）和步骤-步骤时间关系（“买瑜伽垫”通常先于“学习姿势”）。我们基于 wikiHow（一个提供指导性操作文章的网站）引入了一个针对这两类关系的数据集。我们经过人工验证的测试集可作为常识推理的可靠基准，最先进的 transformer 模型与人类表现之间存在约 10% 至 20% 的差距。我们自动生成的训练集使模型能够有效迁移到需要程序性事件知识的域外任务，在零样本和少样本设置下，SWAG、Snips 和 Story Cloze Test 上的性能大幅提升。
引用
@article{arxiv.2009.07690,
title = {Reasoning about Goals, Steps, and Temporal Ordering with WikiHow},
author = {Li Zhang and Qing Lyu and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2009.07690},
year = {2020}
}
备注
In EMNLP 2020