众包工作者因素如何影响主观标注:以推文中厌女仇恨言论标注为例
人机交互
2023-09-06 v1
摘要
众包标注对于收集带标签数据以训练和测试自动化内容审核系统,以及支持人在回路的系统决策审查都至关重要。然而,诸如判断仇恨言论之类的标注任务具有主观性,因而极易受标注者信念、特征与人口统计所带来的偏差影响。我们在 Mechanical Turk 上进行两项众包研究,考察标注者在标记性别歧视与厌女仇恨言论时的偏差。来自 109 名标注者的结果表明,标注者的政治倾向、道德操守、人格特质与性别歧视态度显著影响其标注准确性及将内容标记为仇恨言论的倾向。此外,对九名众包工作者的半结构化访谈进一步揭示了主观性对标注的影响。在探究工作者如何解读任务——受平台结构、任务指令、主观动机与外部情境因素之间复杂协商所塑造——的过程中,我们看到标注不仅受工作者因素影响,同时也受其所处劳动结构的共同塑造。
引用
@article{arxiv.2309.01288,
title = {How Crowd Worker Factors Influence Subjective Annotations: A Study of Tagging Misogynistic Hate Speech in Tweets},
author = {Danula Hettiachchi and Indigo Holcombe-James and Stephanie Livingstone and Anjalee de Silva and Matthew Lease and Flora D. Salim and Mark Sanderson},
journal= {arXiv preprint arXiv:2309.01288},
year = {2023}
}
备注
Accepted to the 11th AAAI Conference on Human Computation and Crowdsourcing (HCOMP 2023)