LT-GAN：具有潜空间变换检测的自监督 GAN
计算机视觉与模式识别
2020-10-21 v1
摘要
生成对抗网络（GANs）与自监督任务相结合，在无条件和半监督图像生成中已展现出有前景的结果。我们提出一种自监督方法（LT-GAN），通过估计 GAN 诱导的变换（即通过对生成器的潜空间进行扰动而在生成图像中诱导出的变换）来提升图像的生成质量和多样性。具体而言，给定两对图像，每对包含一张生成图像及其变换版本，该自监督任务旨在识别给定 pair 中应用的潜变换是否与另一 pair 相同。因此，该辅助损失鼓励生成器产生可被辅助网络区分的图像，进而促进相对于潜变换语义一致的图像合成。我们通过在 CIFAR-10、CelebA-HQ 和 ImageNet 数据集上，针对最先进模型在条件和无条件设置下以 FID 衡量的图像生成质量提升，展示了该 pretext 任务的有效性。此外，我们凭经验表明，LT-GAN 有助于在 CelebA-HQ 和 ImageNet 上改善相比基线模型的可控图像编辑。我们通过实验证明，我们提出的 LT 自监督任务可有效与其他最先进训练技术结合以获得额外收益。因此，我们展示了我们的方法在条件 CIFAR-10 图像生成上取得了 9.8 的新的最先进 FID 分数。
引用
@article{arxiv.2010.09893,
title = {LT-GAN: Self-Supervised GAN with Latent Transformation Detection},
author = {Parth Patel and Nupur Kumari and Mayank Singh and Balaji Krishnamurthy},
journal= {arXiv preprint arXiv:2010.09893},
year = {2020}
}
备注
Accepted at WACV2021