量化并避免众包中的不公平资格劳动
计算与语言
2021-05-28 v1 人机交互
摘要
大量工作主张应向众包工人支付至少相当于美国联邦最低工资的报酬。同时，关于收集高质量标注的研究建议使用一种资格要求，即工人须曾完成一定数量任务。如果大多数公平付酬的请求者要求工人已完成大量任务，那么工人在挣得公平工资前需完成大量低酬工作。通过对工人讨论及研究者指南的分析，我们估计工人约花费2.25个月的全职精力于低酬任务，以获取从事较高酬任务所需的资格。我们讨论了该资格的替代方案，并在两项NLP任务上研究了资格与工作质量的相关性。我们发现有可能在仍收集高质量数据的同时减轻工人负担。
引用
@article{arxiv.2105.12762,
title = {Quantifying and Avoiding Unfair Qualification Labour in Crowdsourcing},
author = {Jonathan K. Kummerfeld},
journal= {arXiv preprint arXiv:2105.12762},
year = {2021}
}
备注
To appear at ACL 2021