面向低资源环境的滥用语言检测多任务基准

内容 moderation 研究近期取得了显著进展，但因资源匮乏，仍无法服务于世界大多数语言，导致数百万用户面临线上敌意。本工作提出一个大规模人工标注的多任务基准数据集，用于Tigrinya社交媒体的滥用语言检测，包含三个任务的联合标注：滥用性、情感与主题分类。数据集包含 13,717 条YouTube评论，由9名母语者标注，来自 7,373 个视频，累计超过 12 亿次观看，覆盖 51 个频道。我们开发了一种迭代术语聚类方法用于有效数据选择。鉴于约 64% 的Tigrinya社交媒体内容使用罗马字转写而非本native Ge'ez 脚本，我们的数据集兼容两种书写系统以反映实际语言使用情况。我们在基准任务中建立了强大的基线模型，同时为后续贡献留下了显著挑战。我们的实验表明，在低资源环境下，小型微调模型在滥用语言检测中取得 86.67% 的 F1 分数（超过最佳 LLM 7+ 个百分点），在所有其他任务中也表现出更强的鲁棒性。该基准数据集公开发布，以推动线上安全研究的发展。