LaDiff ULMFiT:一种用于ULMFiT的层差异化训练方法
计算与语言
2021-01-14 v1 信息检索
摘要
在本文中,我们提出具有层差异化训练方法的深度学习模型,用于SHARED TASK@CONSTRAINT 2021子任务英语COVID19假新闻检测与印地语敌对帖子检测。我们提出一种层差异化训练流程,用于训练预训练的ULMFiT(arXiv:1801.06146)模型。我们使用特殊标记标注推文的特定部分,以改进语言理解并获得模型洞察,使推文更具可解释性。另外两次提交包含一个改进的RoBERTa模型与一个简单的随机森林分类器。所提方法在子任务"英语COVID19假新闻检测"中分别取得精确率与f1分数0.96728972与0.967324832。此外,在子任务印地语敌对帖子检测中,粗粒度敌对性f1分数与加权细粒度f1分数分别为0.908648与0.533907。所提方法在子任务"英语COVID19假新闻检测"中排名164支队伍里的第61,在子任务印地语敌对帖子检测中排名45支队伍里的第18。
引用
@article{arxiv.2101.04965,
title = {LaDiff ULMFiT: A Layer Differentiated training approach for ULMFiT},
author = {Mohammed Azhan and Mohammad Ahmad},
journal= {arXiv preprint arXiv:2101.04965},
year = {2021}
}