无需预训练的循环生成对抗网络语言生成
计算与语言
2017-12-22 v3
摘要
生成对抗网络（GAN）近期在图像生成中展现出巨大潜力。由于使用循环神经网络生成文本的不可微性质，为语言生成训练 GAN 已被证明更加困难。因此，过去的工作要么诉诸于使用最大似然进行预训练，要么使用卷积网络进行生成。在本工作中，我们表明，通过使用课程学习，即缓慢教导模型生成具有递增且可变长度的序列，可以从零开始训练循环神经网络以使用 GAN 生成文本。我们通过实验证明，与卷积基线相比，我们的方法极大地提高了生成序列的质量。
引用
@article{arxiv.1706.01399,
title = {Language Generation with Recurrent Generative Adversarial Networks without Pre-training},
author = {Ofir Press and Amir Bar and Ben Bogin and Jonathan Berant and Lior Wolf},
journal= {arXiv preprint arXiv:1706.01399},
year = {2017}
}
备注
Presented at the 1st Workshop on Learning to Generate Natural Language at ICML 2017