DiscoDVT：利用语篇感知离散变分 Transformer 生成长文本
计算与语言
2021-10-13 v1
摘要
尽管近期在应用预训练语言模型生成高质量文本方面取得了进展，但这些模型生成长段落并保持长距离连贯性仍具挑战。本文提出 DiscoDVT，一种语篇感知离散变分 Transformer，以解决不连贯问题。DiscoDVT 学习一个离散变量序列来概括文本的全局结构，并将其应用于在每个解码步引导生成过程。为了进一步将语篇感知信息嵌入离散潜表示中，我们引入了一个辅助目标来建模文本内的语篇关系。我们在两个开放故事生成数据集上进行了大量实验，表明潜编码学到了与语篇结构的有意义对应，引导模型生成具有更好长距离连贯性的长文本。
引用
@article{arxiv.2110.05999,
title = {DiscoDVT: Generating Long Text with Discourse-Aware Discrete Variational Transformer},
author = {Haozhe Ji and Minlie Huang},
journal= {arXiv preprint arXiv:2110.05999},
year = {2021}
}
备注
Accepted by EMNLP 2021