PLANET：自回归Transformer中用于长文本生成的内容动态规划
计算与语言
2022-03-18 v1
摘要
尽管预训练语言模型在生成流畅文本方面近期取得了进展，现有方法在长文本生成任务中仍受不连贯问题困扰，这类任务需要恰当的内容控制与规划以形成连贯的高层逻辑流。本工作中，我们提出PLANET，一种利用自回归自注意力机制动态进行内容规划与表层实现的新型生成框架。为引导输出句子的生成，我们的框架为Transformer解码器扩充潜在表示，以维护由词袋支撑的句子级语义规划。此外，我们引入一种基于连贯性的对比学习目标，以进一步提升输出的连贯性。我们在两个具有挑战性的长文本生成任务（包括反驳生成和观点文章生成）上进行了大量实验。自动与人工评估均表明，我们的方法显著优于强基线，并生成内容更丰富、连贯性更强的文本。
关键词
引用
@article{arxiv.2203.09100,
title = {PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation},
author = {Zhe Hu and Hou Pong Chan and Jiachen Liu and Xinyan Xiao and Hua Wu and Lifu Huang},
journal= {arXiv preprint arXiv:2203.09100},
year = {2022}
}