基于鲁棒自训练预训练语言模型跨语言跨领域特征自适应
计算与语言
2020-12-01 v3
摘要
将预训练语言模型（PrLM，如 BERT）适配到新领域近期备受关注。与多数先前工作微调 PrLM 不同，我们探究如何在不微调的情况下将 PrLM 的特征适配到新领域。本文探讨无监督领域自适应（UDA）。利用 PrLM 的特征，我们将源领域带标签数据训练的模型适配到无标签目标领域。自训练广泛用于 UDA，其对目标领域数据预测伪标签用于训练。然而，预测的伪标签难免含噪，会对训练鲁棒模型产生负面影响。为提升自训练鲁棒性，本文提出类感知特征自蒸馏（CFd）从 PrLM 学习判别性特征，其中 PrLM 特征自蒸馏至特征适配模块，且同类特征聚类更紧密。我们进一步将 CFd 扩展至跨语言设定，研究语言差异。在两个单语与多语 Amazon 评论数据集上的实验表明，CFd 能持续提升跨领域与跨语言设定下自训练性能。
引用
@article{arxiv.2009.11538,
title = {Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training},
author = {Hai Ye and Qingyu Tan and Ruidan He and Juntao Li and Hwee Tou Ng and Lidong Bing},
journal= {arXiv preprint arXiv:2009.11538},
year = {2020}
}
备注
To appear at EMNLP 2020. 14 pages. Code is available at: https://github.com/oceanypt/CFd