MC-BERT：通过元控制器实现高效语言预训练
计算与语言
2020-06-17 v2 机器学习
摘要
预训练的上下文表示（如BERT）已成为在许多NLP任务上取得SOTA结果的基础。然而，大规模预训练计算代价高昂。ELECTRA作为加速预训练的早期尝试，训练一个判别模型来预测每个输入词元是否被生成器替换。我们的研究表明，ELECTRA的成功主要源于其降低了预训练任务的复杂度：二分类（替换词元检测）比生成任务（掩码语言建模）更易学习。然而，此类简化任务的语义信息较少。为兼顾效率与效果，我们提出一种新颖的元学习框架MC-BERT。预训练任务为带拒绝选项的多选完形填空，由一元控制器网络提供训练输入与候选。在GLUE自然语言理解基准上的结果表明，我们所提方法高效且有效：在相同计算预算下，其在GLUE语义任务上优于基线。
引用
@article{arxiv.2006.05744,
title = {MC-BERT: Efficient Language Pre-Training via a Meta Controller},
author = {Zhenhui Xu and Linyuan Gong and Guolin Ke and Di He and Shuxin Zheng and Liwei Wang and Jiang Bian and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2006.05744},
year = {2020}
}