探索Transformer模型的多任务多语言学习用于社交媒体中仇恨言论与攻击性言论识别
计算与语言
2021-01-28 v1 人工智能
机器学习
社会与信息网络
摘要
仇恨言论已成为在线社交媒体平台的主要内容审核问题。鉴于在线内容生产的量与速，任何平台均无法人工审核仇恨言论相关内容。本文中，我们基于近期提出的Transformer神经网络，采用多任务与多语言方法解决仇恨言论的三个子任务。这些子任务系2019年印欧语系仇恨言论与攻击性内容（HASOC）识别共享任务的一部分。我们扩展了该竞赛的提交方案，利用通过三种方法训练的多任务模型：a) 带独立任务头的多任务学习，b) 回译，以及 c) 多语言训练。最后，我们考察了各类模型的性能，并识别出Transformer基模型表现不同且更优的实例。我们表明，可利用不同组合方法获得能轻松泛化至不同语言与任务的模型，同时以轻微精度损失（某些情况下）换取大幅降低的推理时间计算成本。我们在 https://github.com/socialmediaie/MTML_HateSpeech 开源了带有上述改进的HASOC 2019代码更新版本。
引用
@article{arxiv.2101.11155,
title = {Exploring multi-task multi-lingual learning of transformer models for hate speech and offensive speech identification in social media},
author = {Sudhanshu Mishra and Shivangi Prasad and Shubhanshu Mishra},
journal= {arXiv preprint arXiv:2101.11155},
year = {2021}
}
备注
"To be published in SN Computer Science at https://doi.org/10.1007/s42979-021-00455-5" "30 pages, 6 figures" "Code available at https://github.com/socialmediaie/MTML_HateSpeech"