基于 Transformer 的条件变分自编码器用于可控故事生成
计算与语言
2021-07-09 v2 人工智能
机器学习
摘要
我们研究用于神经故事生成——开放域长文本中一个未被充分探索的应用——的大规模潜变量模型（LVMs），其目标包含两个主线：生成有效性与可控性。LVMs，尤其是变分自编码器（VAE），已通过利用灵活的分布潜表示实现了有效且可控的生成。近来，Transformer 及其变体已在不进行显式潜表示学习的情况下取得了显著的有效性，因而在生成中缺乏令人满意的可控性。在本文中，我们倡导在 Transformer 时代复兴潜变量建模，即表示学习的力量，以在不损害最先进生成有效性的前提下增强可控性。具体而言，我们将潜表示向量与基于 Transformer 的预训练架构相整合，构建条件变分自编码器（CVAE）。模型组件如编码器、解码器和变分后验均构建于预训练语言模型之上——本文中具体为 GPT2。实验展示了我们模型最先进的条件生成能力，以及其优异的表示学习能力和可控性。
引用
@article{arxiv.2101.00828,
title = {Transformer-based Conditional Variational Autoencoder for Controllable Story Generation},
author = {Le Fang and Tao Zeng and Chaochun Liu and Liefeng Bo and Wen Dong and Changyou Chen},
journal= {arXiv preprint arXiv:2101.00828},
year = {2021}
}