用于众包获取基准真值的经验性方法

通过人工标注获取基准真值（ground truth）数据的过程，是信息抽取方法用于填充语义网时的主要瓶颈。基于众包的方法在解决数据量与标注者匮乏相关问题上的受欢迎程度正不断上升。通常这些做法使用标注者间一致性作为质量度量。然而，在许多领域（如事件检测）中，数据存在歧义，且信息样例具有多种视角。我们提出了一种经验推导的方法，用于在涵盖多种领域与标注任务的多样化用例中高效获取基准真值数据。我们方法的核心是使用捕捉标注者间分歧的 CrowdTruth 度量。我们表明，度量分歧对于获取高质量基准真值至关重要。为此，我们将使用 CrowdTruth 度量聚合的数据质量与多数投票法在一系列多样化众包任务上进行比较：医学关系抽取、Twitter 事件识别、新闻事件抽取与声音解释。我们还表明，增加众包工人的数量会带来标注质量的提升与稳定，这与通常使用少量标注者的做法相悖。