利用开源文本嵌入检测德语在线报纸评论中的性别歧视(Team GDA, GermEval 2024 共享任务 1:GerMS-Detect,子任务 1 与 2,封闭赛道)
计算与语言
2024-10-03 v2
摘要
在线媒体评论中的性别歧视是一个普遍存在的挑战,往往表现隐蔽,这使得内容审核变得复杂,因为不同个体对何为性别歧视的判断可能存在差异。我们研究了单语和多语开源文本嵌入,以可靠地检测奥地利某报纸德语在线评论中的性别歧视与厌女症。我们观察到,基于文本嵌入训练的分类器能够紧密模仿人类标注者的个体判断。我们的方法在 GermEval 2024 GerMS-Detect 子任务 1 挑战中表现出稳健的性能,取得了 0.597 的平均宏 F1 分数(据 Codabench 报告排名第 4)。它还能准确预测 GerMS-Detect 子任务 2 中人类标注的分布,平均 Jensen-Shannon 距离为 0.301(排名第 2)。我们方法的计算效率表明,其具备在各种语言和语言语境下进行可扩展应用的潜力。
引用
@article{arxiv.2409.10341,
title = {Detecting Sexism in German Online Newspaper Comments with Open-Source Text Embeddings (Team GDA, GermEval2024 Shared Task 1: GerMS-Detect, Subtasks 1 and 2, Closed Track)},
author = {Florian Bremm and Patrick Gustav Blaneck and Tobias Bornheim and Niklas Grieger and Stephan Bialonski},
journal= {arXiv preprint arXiv:2409.10341},
year = {2024}
}
备注
6 pages, 4 figures, 2 tables