面向非正式语言理解任务的数据退火方法
计算与语言
2020-04-30 v1
摘要
正式与非正式语言理解任务之间存在巨大的性能差距。近期提升正式语言理解任务性能的预训练模型在非正式语言上并未取得可比的结果。我们提出一种数据退火迁移学习流程，以弥合非正式自然语言理解任务上的性能差距。它成功地将BERT等预训练模型用于非正式语言。在我们的数据退火流程中，训练集起初主要包含正式文本数据；随后，在训练过程中非正式文本数据的比例逐步增加。我们的数据退火流程与模型无关，可应用于多种任务。我们在详尽的实验中验证了其实效性。当BERT采用我们的学习流程时，在三个常见非正式语言任务上优于所有最先进（SOTA）模型。
引用
@article{arxiv.2004.13833,
title = {Data Annealing for Informal Language Understanding Tasks},
author = {Jing Gu and Zhou Yu},
journal= {arXiv preprint arXiv:2004.13833},
year = {2020}
}
备注
6 pages, 1 figure