超越公平报酬：NLP 众包的伦理意涵
计算与语言
2023-09-07 v1 计算机与社会
摘要
随着机器学习和 AI 研究产出的指数级增长，NLP 研究中对众包工人的使用也在迅速增长。NLP 研究界关于使用众包工人的伦理讨论通常局限于与劳动条件（如公平报酬）相关的问题。我们提请注意对工人所执行的各种任务（包括标注、评估和生产）缺乏伦理考量。我们发现，研究者常用的通用伦理框架《最终规则》（Final Rule）并未预见到使用在线众包平台进行数据收集，导致 NLP 研究中的人体受试者伦理精神与实践之间存在鸿沟。我们列举了众包工人执行 NLP 任务时面临伤害风险的常见情形。因此我们建议研究者通过考量《贝尔蒙特报告》所确立的三项伦理原则来评估这些风险。我们也澄清了关于机构审查委员会（IRB）申请的一些常见误解。我们希望本文能促使我们社群内重新开启关于众包工人伦理使用的讨论。
引用
@article{arxiv.2104.10097,
title = {Beyond Fair Pay: Ethical Implications of NLP Crowdsourcing},
author = {Boaz Shmueli and Jan Fell and Soumya Ray and Lun-Wei Ku},
journal= {arXiv preprint arXiv:2104.10097},
year = {2023}
}
备注
To be published in NAACL-HLT 2021. 12 pages, 1 figure, 3 tables