TruEyes：在移动应用中利用微任务进行机器学习数据集的众包标注
人机交互
2022-09-30 v1 人工智能
软件工程
摘要
监督式机器学习在研究与工业中的日益广泛使用增加了对标注数据集的需求。众包已成为创建数据标签的一种流行方法。然而，处理大量批量任务会导致工作者疲劳，对标注质量产生负面影响。为此，我们提出TruEyes，一个协作式众包系统，能够将微任务分发给移动应用用户。TruEyes允许机器学习从业者发布标注任务，移动应用开发者集成任务广告以实现变现，以及用户通过标注数据来替代观看广告。为评估该系统，我们进行了N=296名参与者的实验。结果表明，标注数据质量与传统众包方法相当，且大多数用户偏好任务广告而非传统广告。我们讨论了系统的扩展，并探讨了移动广告空间未来如何作为一种生产性资源加以利用。
引用
@article{arxiv.2209.14708,
title = {TruEyes: Utilizing Microtasks in Mobile Apps for Crowdsourced Labeling of Machine Learning Datasets},
author = {Chandramohan Sudar and Michael Froehlich and Florian Alt},
journal= {arXiv preprint arXiv:2209.14708},
year = {2022}
}