文本蕴含数据采集的新协议与负面结果
计算与语言
2020-10-01 v2
摘要
自然语言推理(NLI)数据已被证明在基准测试尤其是作为需要语言理解的任务的预训练数据方面很有用。然而,用于收集这些数据的众包协议存在已知问题,并且并未针对这两个目的中的任何一个进行显式优化,因此它很可能远非理想。我们提出了四种替代协议,每种都旨在改善标注者生成可靠训练样本的容易程度,或改善这些样本的质量与多样性。使用这些替代协议和第五种基线协议,我们收集并比较了五个新的各含 8.5k 样本的训练集。在聚焦于迁移学习应用的评估中,我们的结果完全是负面的:用我们的基线数据集训练的模型对下游任务产生了良好的迁移性能,但我们的四种新方法(以及近期的 ANLI)均未显示出优于该基线的任何改进。作为一点小小的安慰,我们观察到所有四种新协议,尤其是那些标注者编辑预填文本框的协议,减少了先前观察到的标注伪影问题。
引用
@article{arxiv.2004.11997,
title = {New Protocols and Negative Results for Textual Entailment Data Collection},
author = {Samuel R. Bowman and Jennimaria Palomaki and Livio Baldini Soares and Emily Pitler},
journal= {arXiv preprint arXiv:2004.11997},
year = {2020}
}
备注
To appear at EMNLP 2020