ANLIzing：对抗自然语言推理数据集解析
计算与语言
2020-10-27 v1
摘要
我们对对抗自然语言推理（ANLI）进行了深入的错误分析，ANLI 是近期引入的、在多轮中收集的大规模人机协同自然语言推理数据集。我们提出了一种细粒度标注方案，刻画导致金标准分类标签的推理不同方面，并用其手工标注全部三个 ANLI 开发集。我们利用这些标注回答若干有趣问题：哪些推理类型最常见，哪些模型在各类推理上表现最佳，以及哪些类型对最先进模型最具挑战？我们希望这些标注能实现对 ANLI 上训练模型的更细粒度评估，使我们更深入理解模型的失败与成功之处，并助力未来训练更优模型。
引用
@article{arxiv.2010.12729,
title = {ANLIzing the Adversarial Natural Language Inference Dataset},
author = {Adina Williams and Tristan Thrush and Douwe Kiela},
journal= {arXiv preprint arXiv:2010.12729},
year = {2020}
}
备注
33 pages, 1 figure, 24 tables