NLPDove在SemEval-2020任务12：利用跨语言迁移改进攻击性语言检测
计算与语言
2020-08-05 v1
摘要
本文描述了我们在多语言环境下识别攻击性语言任务中的方法。我们研究了两种数据增强策略：使用具有不同阈值的额外半监督标签，以及带数据选择的跨语言迁移。相较于仅使用人工标注数据集训练的基线，利用半监督数据集带来了性能提升。我们提出一种新度量——翻译嵌入距离（Translation Embedding Distance），用以衡量跨语言数据选择中样本的可迁移性。我们还引入了专为社交媒体文本定制的多种预处理步骤，以及微调预训练多语言BERT（mBERT）以进行攻击性语言识别的方法。我们的多语言系统在OffensEval 2020的希腊语、丹麦语和土耳其语上取得了具有竞争力的结果。
引用
@article{arxiv.2008.01354,
title = {NLPDove at SemEval-2020 Task 12: Improving Offensive Language Detection with Cross-lingual Transfer},
author = {Hwijeen Ahn and Jimin Sun and Chan Young Park and Jungyun Seo},
journal= {arXiv preprint arXiv:2008.01354},
year = {2020}
}
备注
To be published in SemEval-2020