用于众包层次化多标签文本标注的界面设计
人机交互
2023-02-24 v2
摘要
人工数据标注是有监督学习系统核心中一项重要且昂贵的任务。层次结构有助于人类理解和组织概念。我们探究概念层次结构是否及如何指导标注界面的设计，以提升标注质量与效率。我们通过疫苗错误信息的标注研究该问题，其中标注任务困难且高度主观。我们通过收集超过 18,000 条独立标注，调查了 6 种用于众包层次化标签的用户界面设计。在固定预算下，将层次结构整合进设计可提升众包工人的 F1 分数。我们将其归因于：(1) 将相似概念分组，相较随机分组 F1 分数提升 +0.16；(2) 在高难度样本上相对表现强劲（相对 F1 分数差异为 +0.40）；(3) 过滤明显负例，精确率提升 +0.07。最终，整合层次的标注方案优于未整合的方案——达到平均 F1 为 0.70。
引用
@article{arxiv.2302.02990,
title = {Interface Design for Crowdsourcing Hierarchical Multi-Label Text Annotations},
author = {Rickard Stureborg and Bhuwan Dhingra and Jun Yang},
journal= {arXiv preprint arXiv:2302.02990},
year = {2023}
}
备注
To appear in CHI-2023