多语言内容审核：以Reddit为例的研究
计算与语言
2023-02-21 v1
摘要
内容审核是基于预定义的平台规则对内容进行标记的过程。随着对保护用户以及保护人类审核员免受创伤内容侵害的心理健康需求增长，对AI审核员的需求日益增加。虽然先前工作集中于识别仇恨性/攻击性语言，但它们不足以应对内容审核的挑战，因为1）审核决策基于规则违规，而规则违规包含攻击性语音的检测；2）此类规则在不同社区间常有差异，这需要一种自适应方案。我们旨在通过引入一个跨英语、德语、西班牙语和法语、涵盖56个子版块、包含180万条Reddit评论的多语言数据集来研究内容审核的挑战。我们进行了广泛的实验分析以凸显潜在挑战，并提出了相关的研究问题，如跨语言迁移、标签噪声下学习（人类偏差）、审核模型迁移以及违规规则预测。我们的数据集和分析有助于更好地应对自动审核的挑战与机遇。
引用
@article{arxiv.2302.09618,
title = {Multilingual Content Moderation: A Case Study on Reddit},
author = {Meng Ye and Karan Sikka and Katherine Atwell and Sabit Hassan and Ajay Divakaran and Malihe Alikhani},
journal= {arXiv preprint arXiv:2302.09618},
year = {2023}
}