VarMAE：面向领域自适应语言理解的变分掩码自编码器预训练
计算与语言
2022-11-02 v1 人工智能
摘要
预训练语言模型在通用基准上取得了令人瞩目的性能，但在迁移到特定领域时表现不佳。近期工作通过在领域语料上从头预训练或持续预训练来处理。然而，在许多特定领域中，有限的语料难以支撑获得精确的表示。为解决此问题，我们提出了一种基于 Transformer 的名为 VarMAE 的新型语言模型，用于领域自适应语言理解。在掩码自编码目标下，我们设计了一个上下文不确定性学习模块，将词的上下文编码为平滑的潜分布。该模块能产生多样且结构良好的上下文表示。在科学与金融领域 NLU 任务上的实验表明，VarMAE 能以有限资源高效适配新领域。
引用
@article{arxiv.2211.00430,
title = {VarMAE: Pre-training of Variational Masked Autoencoder for Domain-adaptive Language Understanding},
author = {Dou Hu and Xiaolong Hou and Xiyang Du and Mengyuan Zhou and Lianxin Jiang and Yang Mo and Xiaofeng Shi},
journal= {arXiv preprint arXiv:2211.00430},
year = {2022}
}
备注
11 pages, accepted by Findings of EMNLP 2022