改进专家混合语言 GAN 的训练
计算与语言
2023-02-24 v1
摘要
尽管在图像生成中取得了巨大成功，生成对抗网络（GANs）在合成离散元素序列（尤其是人类语言）方面仍面临巨大挑战。生成器训练的困难源于有限的表示能力和从判别器获得的无信息学习信号。在这项工作中，我们（1）首先通过实证表明专家混合方法能够增强语言 GAN 生成器的表示能力，以及（2）利用特征统计对齐（FSA）范式来提供细粒度学习信号以推进生成器训练。具体而言，FSA 迫使假数据分布的平均统计量在有限维特征空间中尽可能接近真实样本的均值统计量。在合成和真实基准上的实证研究表明了在定量评估中的优越性能，并证明了我们的方法在对抗文本生成中的有效性。
引用
@article{arxiv.2302.11875,
title = {Improved Training of Mixture-of-Experts Language GANs},
author = {Yekun Chai and Qiyue Yin and Junge Zhang},
journal= {arXiv preprint arXiv:2302.11875},
year = {2023}
}
备注
Accepted at ICASSP 2023