面向公平工资与等效工作：在 crowdsourced 图像分类中设置查看时间限制
人机交互
2024-12-03 v1
摘要
crowdsourcing 是机器学习应用中快速标注大量数据的常见方法。通常，众包工作者以基于估计完成时间的固定报酬来补偿，以满足目标时薪。不幸的是，既有工作表明，众包工作者完成时间的差异导致在一种情况下报酬高出 168%，在另一种情况下报酬不足 16%。然而，通过设置任务完成时间限制，可以在仍然促进固定报酬的同时管理报酬高支或不足的风险。本文分析了查看时间限制对众包工作者绩效和满意度的影响。我们对具有最大查看时间的 crowdsourced 图像分类任务进行了人类研究。我们发现，随着查看时间的增加，众包工作者整体绩效的影响逐渐减小。尽管在时间限制下某些图像具有挑战性，但共识算法仍然有效地保留数据质量并筛选出需要更多时间的图像。此外，众包工作者在时间限制下的持续绩效表明持续投入工作，其心理测量问卷得分显示他们更倾向于较短的限制。基于我们的发现，我们建议将任务时间限制作为一种实际方法，以实现报酬更公平、更可预测。
引用
@article{arxiv.2412.00260,
title = {Towards Fair Pay and Equal Work: Imposing View Time Limits in Crowdsourced Image Classification},
author = {Gordon Lim and Stefan Larson and Yu Huang and Kevin Leach},
journal= {arXiv preprint arXiv:2412.00260},
year = {2024}
}