中文

代理器的困境:通过请求者实践使数据工作可见化

人机交互 2024-08-22 v1

摘要

AI 和 ML 系统中的公平性日益与对参与训练数据开发的数据工人的恰当处理和认可密切相关。然而,收集和标注数据的人员常常被排除在关键讨论之外。这种排除会阻碍数据标注员——作为领域专家——有效地为数据背景化作出贡献。我们的调查研究涉及 52 位数据工作请求者(在类似 Amazon Mechanical Turk 的平台上),揭示了一个差距:请求者经常持有对工人身份和能力的天真或未受质疑的看法,并依赖不成熟的资格任务,这些任务未能尊重工人的专业知识。这些做法不仅会损害数据质量,也损害了 AI 开发的伦理标准。为弥补这些问题,我们主张对数据标注任务的设计和管理进行政策变革,以确保数据工人受到应有的尊重。

关键词

引用

@article{arxiv.2408.11667,
  title  = {The Problems with Proxies: Making Data Work Visible through Requester Practices},
  author = {Annabel Rothschild and Ding Wang and Niveditha Jayakumar Vilvanathan and Lauren Wilcox and Carl DiSalvo and Betsy DiSalvo},
  journal= {arXiv preprint arXiv:2408.11667},
  year   = {2024}
}

备注

Accepted for publication at AIES 2024