PERL：基于枢轴的预训练深度上下文嵌入模型领域自适应
计算与语言
2020-06-17 v1 机器学习
摘要
基于枢轴的神经表示模型已在 NLP 领域自适应中取得显著进展。然而，以往遵循该思路的工作仅利用源域标注数据与源、目标域未标注数据，却忽略了未必取自这些域的大量未标注语料。为缓解此问题，我们提出 PERL：一种将 BERT 等上下文词嵌入模型以基于枢轴的微调进行扩展的表示学习模型。PERL 在 22 个情感分类领域自适应设定上优于强基线，提升域内模型性能，产生有效的精简规模模型并增强模型稳定性。
引用
@article{arxiv.2006.09075,
title = {PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models},
author = {Eyal Ben-David and Carmel Rabinovitz and Roi Reichart},
journal= {arXiv preprint arXiv:2006.09075},
year = {2020}
}
备注
Accepted to TACL in June 2020