SJ_AJ@DravidianLangTech-EACL2021：面向攻击性语言识别的多语言 BERT 模型任务自适应预训练
计算与语言
2021-03-15 v2
摘要
在本文中，我们介绍了为 EACL 2021 达罗毗荼语言攻击性语言识别共享任务所提交的方案。我们的最终系统是一个 mBERT 与 XLM-RoBERTa 模型的集成，其利用以掩码语言建模为目标的多语言 BERT 模型的任务自适应预训练。我们的系统在 Kannada 语上排名第 1，在 Malayalam 语上排名第 2，在 Tamil 语上排名第 3。
引用
@article{arxiv.2102.01051,
title = {SJ_AJ@DravidianLangTech-EACL2021: Task-Adaptive Pre-Training of Multilingual BERT models for Offensive Language Identification},
author = {Sai Muralidhar Jayanthi and Akshat Gupta},
journal= {arXiv preprint arXiv:2102.01051},
year = {2021}
}