GanLM:带有辅助判别器的编码器-解码器预训练
计算与语言
2023-05-10 v2
摘要
预训练模型在自然语言处理(NLP)中已取得显著成功。然而,现有预训练方法未能充分利用语言理解对生成的益处。受生成对抗网络(GANs)思想的启发,我们提出一种GAN风格的编码器-解码器预训练模型,通过引入辅助判别器,将语言理解与生成能力统一于单一模型中。我们的模型名为GanLM,以两个预训练目标进行训练:替换词元检测与替换词元去噪。具体而言,给定掩码源句子,生成器输出目标分布,判别器预测从分布中采样得到的目标词元是否错误。目标句子被误分类词元替换以构造带噪前文,用于生成真实句子。总体上,两项任务通过选择性地使用去噪数据提升了语言理解与生成能力。在语言生成基准上的大量实验表明,具备强大语言理解能力的GanLM优于多种强预训练语言模型(PLMs),并取得了最先进的性能。
引用
@article{arxiv.2212.10218,
title = {GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator},
author = {Jian Yang and Shuming Ma and Li Dong and Shaohan Huang and Haoyang Huang and Yuwei Yin and Dongdong Zhang and Liqun Yang and Furu Wei and Zhoujun Li},
journal= {arXiv preprint arXiv:2212.10218},
year = {2023}
}
备注
ACL 2023