请众包工作者撰写蕴含示例：糟糕选项中的最佳者
计算与语言
2020-10-14 v1
摘要
SNLI 或 MNLI 等大规模自然语言推理（NLI）数据集是通过让众包工作者阅读前提并针对每种可能的语义关系（蕴含、矛盾和中性）撰写三个新假设而创建的。虽然该协议已被用于创建有用的基准数据，但由于尚未被直接评估，其是否为任何目的的最优协议仍不清楚。此外，有充分证据表明众包工作者的撰写会在数据中引入伪影。我们研究了两种自动创建候选（前提，假设）对供标注者标记的替代协议。利用这些协议及基于撰写的基线，我们各自收集了多个超过 3k 示例的新英语 NLI 数据集，每个数据集使用固定的标注者时间，但为适应时间预算而采用不同数量的示例。我们在 NLI 和迁移学习上的实验给出了负面结果：在 NLI 内泛化评估或向外目标任务的迁移中，没有任何替代协议优于基线。我们得出结论，众包工作者撰写仍是蕴含数据已知的最佳选项，这凸显了进一步数据收集工作需聚焦于改进基于撰写的标注流程的必要性。
引用
@article{arxiv.2010.06122,
title = {Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options},
author = {Clara Vania and Ruijie Chen and Samuel R. Bowman},
journal= {arXiv preprint arXiv:2010.06122},
year = {2020}
}
备注
AACL 2020