重新审视性别歧视与厌女症分类：标注者态度的影响
计算与语言
2024-10-07 v1
摘要
基于性别的暴力（GBV）在网络中日益严重，但现有数据集未能捕捉标注者观点的多样性，也未能确保受影响群体的代表性。我们重新审视GBV审核流程中的两个重要阶段：（1）人工数据标注；（2）自动分类。对于（1），我们检查了两个数据集，以研究标注者身份和态度与其对两个GBV标注任务的反应之间的关系。为此，我们使用社会心理学中的三个经过验证的量表，收集了众包标注者的人口统计和态度信息。我们发现，右翼威权主义得分越高，将文本标注为性别歧视的倾向越高，而社会支配取向和新性别歧视态度得分越高，则与较低的标注倾向相关。对于（2），我们使用大型语言模型和五种提示策略（包括在提示中注入标注者信息）进行分类实验。我们发现：（i）标注者态度影响分类器预测其标签的能力；（ii）当使用结构良好的简短标注者描述时，包含态度信息可以提高性能；（iii）模型难以反映新标签集增加的复杂性和不平衡类别。
关键词
引用
@article{arxiv.2410.03543,
title = {Re-examining Sexism and Misogyny Classification with Annotator Attitudes},
author = {Aiqi Jiang and Nikolas Vitsakis and Tanvi Dinkar and Gavin Abercrombie and Ioannis Konstas},
journal= {arXiv preprint arXiv:2410.03543},
year = {2024}
}
备注
Accepted by EMNLP 2024