利用预训练语言模型的印地语敌意内容检测
计算与语言
2021-01-15 v1
摘要
社交平台上的敌意内容不断增加。这导致需要对敌意帖子进行恰当检测，以便采取适当措施加以应对。尽管近期在英语语言中为解决在线敌意内容问题已做了大量工作，但印度语言中的类似工作却相当少见。本文提出一种基于迁移学习的方法，用于将印地语天城文脚本的社交媒体（即 Twitter、Facebook 等）帖子分类为敌意或非敌意。敌意帖子被进一步分析以确定其是否为仇恨、虚假、诽谤和攻击性内容。本文利用基于注意力的预训练模型在印地语数据上微调，以敌意-非敌意任务作为辅助任务，并融合其特征用于进一步的子任务分类。通过该方法，我们建立了一个稳健且一致的模型，无需任何集成或复杂预处理。我们在 CONSTRAINT-2021 敌意帖子检测共享任务中展示了该方法的结果，我们的模型表现极为出色，在加权细粒度 F1 分数上位列第四名。
引用
@article{arxiv.2101.05494,
title = {Hostility Detection in Hindi leveraging Pre-Trained Language Models},
author = {Ojasv Kamal and Adarsh Kumar and Tejas Vaidhya},
journal= {arXiv preprint arXiv:2101.05494},
year = {2021}
}