构成困难自然语言理解数据收集任务有效众包协议的要素是什么？

众包被广泛用于为常见的自然语言理解任务创建数据。尽管这些数据集对于衡量和精炼模型的语言理解至关重要，但针对用于收集数据集的众包方法却鲜有关注。在本文中，我们比较了先前工作中提出的、作为提升数据质量手段的若干干预措施的效果。我们以多选问答为试验平台，通过随机试验将众包工作者分配到四种不同数据收集协议之一下撰写问题。我们发现，要求工作者为其示例撰写解释作为独立策略并不能有效提升NLU示例的难度。然而，我们发现培训众包工作者，随后采用收集数据、发送反馈以及基于专家判断筛选工作者的迭代过程，是收集具有挑战性数据的有效手段。但使用众包而非专家判断来筛选工作者和发送反馈被证明无效。我们观察到，带有专家评估的迭代协议所得到的数据在多项度量上更具挑战性。值得注意的是，该数据在一致同意部分上的人-模型差距平均是基线协议数据差距的两倍。