基于生成对抗网络的语言建模
机器学习
2018-07-04 v1 计算与语言
机器学习
摘要
生成对抗网络（GANs）在图像生成领域展现出良好前景，然而它们难以训练用于语言生成。GANs最初被设计为输出可微值，因此离散语言生成对它们而言具有挑战性，这会导致GANs训练中的高度不稳定性。因此，以往工作求助于使用最大似然进行预训练，或使用带梯度惩罚的WGAN目标而不进行预训练来训练GANs。在本研究中，我们对这些方法进行了比较。此外，我们给出了一些实验结果，表明当使用较弱的正则化项来强制Lipschitz约束时，Wasserstein GANs（WGANs）具有更好的训练与收敛性。
引用
@article{arxiv.1804.02617,
title = {Language Modeling with Generative Adversarial Networks},
author = {Mehrad Moradshahi and Utkarsh Contractor},
journal= {arXiv preprint arXiv:1804.02617},
year = {2018}
}