P$^3$LM：用于生成式预训练的概率置换先知语言建模
计算与语言
2022-10-25 v1
摘要
传统的自回归从左到右（L2R）序列生成在解码时面临两个问题：仅限于对目标序列进行单向建模，以及受强局部依赖约束。为解决上述问题，我们提出 PLM，一种概率置换先知语言模型，它增强了序列生成的双向信息建模与长程词元依赖。具体而言，PLM 学习在顺序感知的 transformer 解码器上以置换顺序生成词元，并利用多流注意力机制生成对应的未来 个词元。我们在 GLGE 基准上进行了大量实验，该基准包含四个摘要数据集、两个问题生成数据集、一个对话式问答数据集和一个对话响应生成数据集，PLM 相较于强大的公开可用生成式预训练方法取得了最优结果。
引用
@article{arxiv.2210.12339,
title = {P$^3$LM: Probabilistically Permuted Prophet Language Modeling for Generative Pre-Training},
author = {Junwei Bao and Yifan Wang and Jiangyong Ying and Yeyun Gong and Jing Zhao and Youzheng Wu and Xiaodong He},
journal= {arXiv preprint arXiv:2210.12339},
year = {2022}
}
备注
Accepted to EMNLP(Findings) 2022