基于去噪的序列到序列预训练用于文本生成
计算与语言
2019-08-23 v1
摘要
本文提出了一种新的序列到序列（seq2seq）预训练方法 PoDA（去噪自编码器预训练），该方法学习适用于文本生成任务的表示。与仅编码器（如 BERT）或仅解码器（如 OpenAI GPT）的预训练方法不同，PoDA 通过去噪受噪声破坏的文本来联合预训练编码器和解码器，并且还具有在后续微调阶段保持网络架构不变的优点。同时，我们设计了一个 Transformer 和指针生成器网络的混合模型作为 PoDA 的主干架构。我们在两个文本生成任务上进行了实验：抽象式摘要和语法错误纠正。在四个数据集上的结果表明，PoDA 可以在不使用任何任务特定技术的情况下，相较于强基线模型提高模型性能，并显著加速收敛。
引用
@article{arxiv.1908.08206,
title = {Denoising based Sequence-to-Sequence Pre-training for Text Generation},
author = {Liang Wang and Wei Zhao and Ruoyu Jia and Sujian Li and Jingming Liu},
journal= {arXiv preprint arXiv:1908.08206},
year = {2019}
}
备注
Accepted to EMNLP 2019