LabelAId：用于提升众包系统中人工标注质量与领域知识的即时AI干预
人机交互
2024-03-18 v1 人工智能
机器学习
摘要
众包平台已改变了分布式问题解决方式，但质量控制仍是一个持续挑战。传统的质量控制措施，如预筛选工作者和完善指令，通常仅侧重于优化经济产出。本文探索即时AI干预，以提升众包工作者的标注质量和领域特定知识。我们介绍LabelAId，一种结合程序化弱监督(PWS)与FT-Transformer的高级推理模型，用于基于用户行为和领域知识推断标注正确性。我们的技术评估表明，LabelAId流程持续优于最先进的机器学习基线，在50个下游样本上将错误推断准确率提高了36.7%。随后，我们将LabelAId部署到Project Sidewalk——一个用于城市可达性的开源众包平台。一项包含34名参与者的组间研究表明，LabelAId在不牺牲效率的情况下显著提升了标注精度，同时增强了标注者的信心。我们讨论了LabelAId的成功因素、局限性及其在其他众包科学领域的普适性。
引用
@article{arxiv.2403.09810,
title = {LabelAId: Just-in-time AI Interventions for Improving Human Labeling Quality and Domain Knowledge in Crowdsourcing Systems},
author = {Chu Li and Zhihan Zhang and Michael Saugstad and Esteban Safranchik and Minchu Kulkarni and Xiaoyu Huang and Shwetak Patel and Vikram Iyer and Tim Althoff and Jon E. Froehlich},
journal= {arXiv preprint arXiv:2403.09810},
year = {2024}
}