SWAG:用于基于情境的常识推理的大规模对抗数据集
计算与语言
2018-08-17 v1
摘要
给定如“她打开了汽车的引擎盖”这样的部分描述,人类能够对该情境进行推理并预期接下来可能发生什么(“然后,她检查了发动机”)。在本文中,我们引入了基于情境的常识推理任务,统一了自然语言推理与常识推理。我们提出SWAG,一个包含113k道关于丰富情境谱的多项选择题的新数据集。为解决许多现有数据集中反复出现的标注伪迹和人类偏差挑战,我们提出对抗过滤(AF),一种通过迭代训练集成风格分类器并用其过滤数据来构建去偏数据集的新方法。为应对激进的对抗过滤,我们使用最先进的语言模型大规模过采样一组多样化的潜在反事实。实证结果表明,尽管人类能以高准确率(88%)解决由此产生的推理问题,各种竞争性模型在我们的任务上表现不佳。我们提供了综合分析,指出未来研究存在显著机会。
引用
@article{arxiv.1808.05326,
title = {SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference},
author = {Rowan Zellers and Yonatan Bisk and Roy Schwartz and Yejin Choi},
journal= {arXiv preprint arXiv:1808.05326},
year = {2018}
}
备注
EMNLP 2018