分布真值：UI 标注任务中无冗余众包数据质量控制
人机交互
2020-12-29 v1 机器学习
系统与控制
系统与控制
应用统计
摘要
HCI（人机交互）越来越多地采用机器学习与图像识别，特别是对用户界面（UI）的视觉分析。获取人工标注训练数据的一种流行方式是众包，通常使用真值（ground truth）与多数共识的质量控制方法，这要求结果具有冗余性。在本文中，我们提出了一种用于预测 Web UI 标注任务中众包工作者输出质量的无冗余方法，该方法基于用双样本 Kolmogorov-Smirnov 检验评估的分布同质性。使用一个包含约 500 张截图、由 11 名可信标注者和 298 名 Amazon Mechanical Turk 众包工作者定位并分类的超过 74,000 个 UI 元素的数据集，我们展示了我们的方法相对于基于平均任务耗时（Time-on-Task）的基线模型的优势。通过探索不同的数据集划分，我们表明在可信集大小为 17–27% UI 时，我们的“分布真值”模型可达到超过 0.8 的 R2，并有助于消除辅助工作量和开支。
引用
@article{arxiv.2012.13546,
title = {Distributional Ground Truth: Non-Redundant Crowdsourcing Data Quality Control in UI Labeling Tasks},
author = {Maxim Bakaev and Sebastian Heil and Martin Gaedke},
journal= {arXiv preprint arXiv:2012.13546},
year = {2020}
}