探寻歧义：一种用于澄清众包工人标注指南的三阶段工作流设计
人机交互
2021-12-07 v1 人工智能
摘要
我们提出一种新颖的众包标注三阶段 FIND-RESOLVE-LABEL 工作流，以减少任务指令中的歧义，从而提升标注质量。阶段 1（FIND）要求众包人员找出依据任务指令其正确标签看似模糊的示例。同时要求工人提供简短标签，描述所发现特定实例所体现的歧义概念。我们比较此阶段的协作与非协作设计。阶段 2（RESOLVE）中，请求者选取一个或多个此类歧义示例进行标注（消解歧义）。新标签被自动注入任务指令以增进清晰性。最后，阶段 3（LABEL）中，工人使用含澄清示例的修订指南执行实际标注。我们比较使用这些示例的三种设计：仅示例、仅标签、或二者兼具。我们报告了基于亚马逊 Mechanical Turk 的六项任务设计下的图像标注实验。结果显示标注准确率提升，并进一步揭示了有关众包标注任务有效设计的见解。
引用
@article{arxiv.2112.02255,
title = {In Search of Ambiguity: A Three-Stage Workflow Design to Clarify Annotation Guidelines for Crowd Workers},
author = {Vivek Krishna Pradhan and Mike Schaekermann and Matthew Lease},
journal= {arXiv preprint arXiv:2112.02255},
year = {2021}
}
备注
22 pages, 5 figures, 4 tables