Softmax GAN

Softmax GAN是生成对抗网络(Generative Adversarial Network, GAN)的一种新颖变体。Softmax GAN的关键思想是将原始GAN中的分类损失替换为单个批次样本空间中的softmax交叉熵损失。在$N$个真实训练样本和$M$个生成样本的对抗学习中，判别器训练的目标是将所有概率质量分配给真实样本，每个样本概率为$\frac{1}{M}$，并将零概率分配给生成数据。在生成器训练阶段，目标是在批次中所有数据点分配相等概率，每个概率为$\frac{1}{M+N}$。虽然原始GAN与噪声对比估计(Noise Contrastive Estimation, NCE)密切相关，但我们表明Softmax GAN是GAN的重要性采样版本。我们进一步通过实验证明这一简单改变稳定了GAN训练。