利用词义注释正则化预训练改进上下文表示
计算与语言
2022-05-16 v1 人工智能
机器学习
摘要
尽管类 BERT 的掩码语言模型(MLM)在许多 NLP 任务上取得了令人印象深刻的成果,但其面临预训练与推理之间的差异。针对这一差距,我们从词概率分布的角度考察了预训练与推理中的上下文表示。我们发现 BERT 在预训练中存在忽略上下文词相似性的风险。为解决该问题,我们向 BERT 预训练提出一个辅助的词义注释正则化模块(GR-BERT),以增强词语义相似性。通过同时预测掩码词并将上下文嵌入对齐到相应的词义注释,词相似性可被显式建模。我们为 GR-BERT 设计了两种架构,并在下游任务中评估了我们的模型。实验结果表明,词义注释正则化器在词级和句子级语义表示上均有益于 BERT。GR-BERT 在词汇替换任务上达到了新的 SOTA,并极大提升了 BERT 句子表示在无监督与有监督 STS 任务中的表现。
引用
@article{arxiv.2205.06603,
title = {Improving Contextual Representation with Gloss Regularized Pre-training},
author = {Yu Lin and Zhecheng An and Peihao Wu and Zejun Ma},
journal= {arXiv preprint arXiv:2205.06603},
year = {2022}
}
备注
Accepted to Findings of NAACL 2022