POINTER：基于插入式生成预训练的约束渐进式文本生成
计算与语言
2020-09-29 v2 人工智能
机器学习
摘要
大规模预训练语言模型，如 BERT 和 GPT-2，在语言表示学习和自由形式文本生成方面取得了优异性能。然而，这些模型无法直接用于在规定词法约束下生成文本。为应对这一挑战，我们提出 POINTER (PrOgressive INsertion-based TransformER)，一种简单而新颖的基于插入的硬约束文本生成方法。所提方法以并行方式在已有词元之间逐步插入新词元来运作。该过程被递归应用直至序列完成。由此产生的由粗到细的层次结构使生成过程直观且可解释。我们在 12GB Wikipedia 数据集上以所提基于渐进插入的目标预训练模型，并在下游硬约束生成任务上微调。非自回归解码在推理时产生经验上的对数时间复杂度。在 News 和 Yelp 数据集上的实验结果表明，POINTER 在约束文本生成上达到了最先进的性能。我们发布了预训练模型和源代码以促进未来研究 (https://github.com/dreasysnail/POINTER)。
引用
@article{arxiv.2005.00558,
title = {POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training},
author = {Yizhe Zhang and Guoyin Wang and Chunyuan Li and Zhe Gan and Chris Brockett and Bill Dolan},
journal= {arXiv preprint arXiv:2005.00558},
year = {2020}
}
备注
EMNLP 2020 long paper