用于敌意检测的Transformer任务自适应预训练
计算与语言
2021-01-12 v1 信息检索
机器学习
摘要
识别网络尤其是社交媒体上的不良与敌意内容,近年来已成为一个极为重要的问题。随着其日益普及,带有分类头的预训练基于Transformer的编码器模型的微调正逐渐成为自然语言分类任务的新基线。在我们的工作中,我们探究了在微调基于Transformer的架构之前进行任务自适应预训练(TAPT)所带来的增益。我们具体研究两个问题:(a)将印地语推文粗粒度二分类为敌意或非敌意;(b)将推文细粒度多标签分类为四类:仇恨、虚假、攻击性和诽谤。在一种将表情符号和分词后话题标签纳入分类考虑的架构基础上,我们通过实验展示了TAPT带来的性能提升。我们的系统(团队名“iREL IIIT”)在“印地语敌意帖子检测”共享任务中排名第一,在粗粒度检测上F1分数为97.16%,在细粒度多标签分类上对所给盲测语料库的加权F1分数为62.96%。
引用
@article{arxiv.2101.03382,
title = {Task Adaptive Pretraining of Transformers for Hostility Detection},
author = {Tathagata Raha and Sayar Ghosh Roy and Ujwal Narayan and Zubair Abid and Vasudeva Varma},
journal= {arXiv preprint arXiv:2101.03382},
year = {2021}
}
备注
To be published in: Proceedings of the First Workshop on Combating Online Hostile Posts in Regional Languages during Emergency Situation (CONSTRAINT) at AAAI 2021