从零开始训练语言 GAN
计算与语言
2020-02-28 v2 机器学习
机器学习
摘要
生成对抗网络（GANs）在图像生成方面取得了巨大成功，但在自然语言领域却被证明难以训练。梯度估计、优化不稳定和模式崩溃方面的挑战使得实践者求助于最大似然预训练，再进行少量的对抗微调。GAN 微调用于语言生成的益处尚不清楚，因为由此产生的模型产生的样本与传统语言模型相当或更差。我们证明事实上可以从零开始训练语言 GAN——无需最大似然预训练。我们结合现有技巧，如大批量大小、密集奖励和判别器正则化，以稳定并改进语言 GAN。所得模型 ScratchGAN 在 EMNLP2017 News 和 WikiText-103 语料库上根据质量和多样性指标与最大似然训练表现相当。
引用
@article{arxiv.1905.09922,
title = {Training language GANs from Scratch},
author = {Cyprien de Masson d'Autume and Mihaela Rosca and Jack Rae and Shakir Mohamed},
journal= {arXiv preprint arXiv:1905.09922},
year = {2020}
}