面向英语与马拉地语仇恨、攻击性与污秽内容检测的预训练 Transformer 微调
计算与语言
2022-10-18 v1 人工智能
机器学习
摘要
本文描述了为 2021 年英语与印度-雅利安语言仇恨语音与攻击性内容识别共享任务开发的神经模型。我们的团队 neuro-utmn-thales 参与了英语含仇恨、攻击性与污秽内容推文的二分类与细粒度分类两项任务（英语子任务 A 与 B），以及马拉地语问题内容识别一项任务（马拉地语子任务 A）。对英语子任务，我们探究附加语料对微调 transformer 模型以检测仇恨语音的影响。我们还应用基于 Twitter-RoBERTa 的一对多方法区分仇恨、污秽与攻击性帖子。我们的模型以 81.99% 的 F1 值在英语子任务 A 排名第三，以 65.77% 的 F1 值在英语子任务 B 排名第二。对马拉地语任务，我们提出基于语言无关 BERT 句嵌入（LaBSE）的系统。该模型在马拉地语子任务 A 以 88.08% 的 F1 取得第二结果。
引用
@article{arxiv.2110.12687,
title = {Fine-tuning of Pre-trained Transformers for Hate, Offensive, and Profane Content Detection in English and Marathi},
author = {Anna Glazkova and Michael Kadantsev and Maksim Glazkov},
journal= {arXiv preprint arXiv:2110.12687},
year = {2022}
}
备注
Accepted for FIRE'21: Forum for Information Retrieval Evaluation 2021