连续与离散空间中用于文本生成的 GAN 协作训练
计算与语言
2020-11-05 v2 人工智能
机器学习
摘要
由于语言的离散性，将生成对抗网络（GANs）应用于文本相关任务具有挑战性。一类研究通过采用强化学习（RL）并直接在离散动作空间中优化下一词采样策略来解决此问题。此类方法从完整句子计算奖励，并避免由于暴露偏差导致的误差累积。其他方法采用近似技术将文本映射到连续表示，以规避不可微的离散过程。特别是，基于自编码器的方法有效产生可建模复杂离散结构的鲁棒表示。在本文中，我们提出了一种新颖的文本 GAN 架构，促进连续空间与离散空间方法的协作训练。我们的方法采用自编码器学习隐式数据流形，为连续空间中的对抗训练提供学习目标。此外，完整文本输出在离散空间中通过 RL 直接评估与更新。两种对抗训练之间的协作相互作用有效地在不同空间中对文本表示进行正则化。在三个标准基准数据集上的实验结果表明，我们的模型在质量、多样性和全局一致性方面大幅优于最先进的文本 GANs。
引用
@article{arxiv.2010.08213,
title = {Collaborative Training of GANs in Continuous and Discrete Spaces for Text Generation},
author = {Yanghoon Kim and Seungpil Won and Seunghyun Yoon and Kyomin Jung},
journal= {arXiv preprint arXiv:2010.08213},
year = {2020}
}