CMV-BERT：基于对比多词表预训练 BERT
计算与语言
2021-06-01 v2
摘要
在本工作中，我们提出 CMV-BERT，它通过两个要素改进语言模型的预训练：(a) 对比学习，该技术在计算机视觉领域已被充分研究；(b) 多个词表，其中一个为细粒度词表，另一个为粗粒度词表。这两种方法均提供了原始句子的不同视图，且均被证明是有益的。下游任务表明我们提出的 CMV-BERT 在改进预训练语言模型方面是有效的。
引用
@article{arxiv.2012.14763,
title = {CMV-BERT: Contrastive multi-vocab pretraining of BERT},
author = {Wei Zhu and Daniel Cheung},
journal= {arXiv preprint arXiv:2012.14763},
year = {2021}
}
备注
will add more detailed technical contents, and more detailed experiments