将文本表示预训练作为元学习
计算与语言
2020-04-14 v1
摘要
近年来，文本表示预训练已被证明能显著提升许多自然语言处理任务的最优水平。预训练的核心目标是学习对后续任务有用的文本表示。然而，现有方法通过最小化代理目标（如语言建模的负对数似然）进行优化。在本工作中，我们引入一种学习算法，直接优化模型学习文本表示以有效学习下游任务的能力。我们表明，多任务预训练与带有系列元训练步的模型无关元学习之间存在内在联系。BERT 中采用的标准多任务学习目标是我们学习算法在元训练深度为零时的特例。我们在两种设定下研究该问题：无监督预训练与有不同预训练目标的有监督预训练，以验证我们方法的通用性。实验结果表明，我们的算法带来了改进，并为多种下游任务学习到了更好的初始化。
引用
@article{arxiv.2004.05568,
title = {Pre-training Text Representations as Meta Learning},
author = {Shangwen Lv and Yuechen Wang and Daya Guo and Duyu Tang and Nan Duan and Fuqing Zhu and Ming Gong and Linjun Shou and Ryan Ma and Daxin Jiang and Guihong Cao and Ming Zhou and Songlin Hu},
journal= {arXiv preprint arXiv:2004.05568},
year = {2020}
}
备注
2 figures, 3 tables