补语 coercion 众包的异常失败
计算与语言
2020-10-14 v1
摘要
近年来，众包简化并扩大了语言标注数据的收集。在这项工作中，我们遵循已知的为补语 coercion 现象收集标注数据的方法。这些是具有隐含动作的构式——例如，“我开始了上周买的一本新书”，其中隐含动作是阅读。我们旨在通过将该现象简化为两个已知任务之一——显式补全（Explicit Completion）和自然语言推理（Natural Language Inference）——来收集该现象的标注数据。然而，尽管我们遵循了与先前工作相同的方法，在两种情况下众包均导致较低的一致分数。为何同一流程未能产生高一致分数？我们详述了建模方案，突出与先前工作的差异，并提供关于该任务及失败可能解释的若干见解。我们得出结论：特定现象需要量身定制的解决方案，不仅在专用算法上，也在数据收集方法上。
引用
@article{arxiv.2010.05971,
title = {The Extraordinary Failure of Complement Coercion Crowdsourcing},
author = {Yanai Elazar and Victoria Basmov and Shauli Ravfogel and Yoav Goldberg and Reut Tsarfaty},
journal= {arXiv preprint arXiv:2010.05971},
year = {2020}
}
备注
Workshop on Insights from Negative Results in NLP, co-located with EMNLP 2020