正交 Wasserstein 生成对抗网络

Wasserstein-GANs（WGAN）的提出旨在解决生成对抗网络（GANs）在训练过程中出现的梯度消失与模式崩溃等缺陷，从而改善收敛行为与图像质量。然而，Wasserstein-GANs 要求判别器满足 Lipschitz 连续性。在当前最先进的 Wasserstein-GANs 中，该约束通过梯度范数正则化来强制实施。在本文中，我们证明这种正则化并不能促使判别器权重的谱值分布广泛，从而导致所学分布的保真度较低。因此，我们研究用权重矩阵上的正交约束来替代该 Lipschitz 约束的可能性。我们比较了三种不同的权重正交化技术，考察其收敛性质、确保 Lipschitz 条件的能力以及所学分布的达成质量。此外，我们将其与采用当前最先进方法训练的 Wasserstein-GANs 进行比较，展示了仅使用基于正交化的正则化的潜力。在此背景下，我们提出了一种改进的 Wasserstein-GANs 训练流程，利用正交化进一步提升其泛化能力。最后，我们提出了一种新指标，用于评估不同 Wasserstein-GANs 判别器的泛化能力。