ProphetNet-X：面向英语、中文、多语言、对话与代码生成的大规模预训练模型
计算与语言
2021-06-23 v2
摘要
如今，预训练技术在自然语言处理领域已无处不在。ProphetNet 是一种基于预训练的自然语言生成方法，在英语文本摘要和问答生成任务上展现出强大性能。在本文中，我们将 ProphetNet 扩展到其他领域与语言，并推出 ProphetNet 系列预训练模型，命名为 ProphetNet-X，其中 X 可以是英语、中文、多语言等。我们预训练了跨语言生成模型 ProphetNet-Multi、中文生成模型 ProphetNet-Zh、两个开放域对话生成模型 ProphetNet-Dialog-En 和 ProphetNet-Dialog-Zh。此外，我们提供了 PLG（编程语言生成）模型 ProphetNet-Code，以展示除 NLG（自然语言生成）任务之外的生成性能。在我们的实验中，ProphetNet-X 模型在 10 个基准上取得了新的 SOTA（state-of-the-art，最优）性能。所有 ProphetNet-X 模型共享相同的模型结构，使用户可以轻松在不同模型间切换。我们公开了代码与模型，并将持续更新更多预训练模型与微调脚本。
引用
@article{arxiv.2104.08006,
title = {ProphetNet-X: Large-Scale Pre-training Models for English, Chinese, Multi-lingual, Dialog, and Code Generation},
author = {Weizhen Qi and Yeyun Gong and Yu Yan and Can Xu and Bolun Yao and Bartuer Zhou and Biao Cheng and Daxin Jiang and Jiusheng Chen and Ruofei Zhang and Houqiang Li and Nan Duan},
journal= {arXiv preprint arXiv:2104.08006},
year = {2021}
}
备注
Accepted by ACL 2021 demo papers