用于判别式语言模型预训练的实例正则化
计算与语言
2022-10-12 v1 人工智能
摘要
判别式预训练语言模型可以泛化为包含加噪和去噪两个过程的去噪自编码器。首先，加噪过程使用任意加噪函数破坏文本以构建训练实例。然后，训练一个去噪语言模型来恢复被破坏的词元。现有研究通过独立优化加噪或去噪策略取得了进展。它们在整个训练过程中平等地对待训练实例，很少关注这些实例的个体贡献。为了对实例贡献的显式信号进行建模，本工作提出在语言模型预训练中估计从被破坏的句子恢复原始句子的复杂度。这些估计涉及加噪数据构建过程中的破坏程度以及去噪过程中的预测置信度。在自然语言理解和阅读理解基准上的实验结果表明，我们的方法提高了预训练的效率、有效性和鲁棒性。代码公开于 https://github.com/cooelf/InstanceReg。
关键词
引用
@article{arxiv.2210.05471,
title = {Instance Regularization for Discriminative Language Model Pre-training},
author = {Zhuosheng Zhang and Hai Zhao and Ming Zhou},
journal= {arXiv preprint arXiv:2210.05471},
year = {2022}
}
备注
Accepted to EMNLP 2022