Suum Cuique：从社区视角研究禁忌检测的偏差
计算与语言
2022-03-23 v1 机器学习
摘要
先前的研究已讨论并阐明，在研究禁忌（仇恨性/攻击性/有毒等）语言时，需要在社区层面考虑语言规范。然而，一种牢固建立在社区语言规范基础之上的方法论仍基本缺失。这可能导致禁忌文本分类中的偏差，并限制我们对偏差成因的理解。我们提出一种以社区视角为核心来研究禁忌分类与标注中偏差的方法。这是通过使用针对每个社区语言调优的专用分类器实现的。本质上，这些分类器代表了社区层面的语言规范。我们利用它们研究偏差，发现例如对非洲裔美国人的偏差最大（所考察的 10 个数据集中有 7 个以及全部 3 个分类器）。与先前论文不同，我们还研究了其他社区，发现例如对南亚人的强烈偏差。在一项小规模用户研究中，我们阐释了核心观点：常见话语（即与某社区对齐分数高、社区分类器置信度分数高的话语）不太可能被视为禁忌。作为社区成员的标注者在大多数情况下反驳了禁忌分类决策与标注。本文是朝着减少误报禁忌决策、从而长期损害少数群体社区迈出的重要一步。
引用
@article{arxiv.2203.11401,
title = {Suum Cuique: Studying Bias in Taboo Detection with a Community Perspective},
author = {Osama Khalid and Jonathan Rusert and Padmini Srinivasan},
journal= {arXiv preprint arXiv:2203.11401},
year = {2022}
}
备注
9 pages, 3 figures, Accepted to the Findings of ACL 2022