璞中之钻：通过遍历 GAN 潜空间提升图像真实感
计算机视觉与模式识别
2021-04-13 v1
摘要
在短短几年内，生成对抗网络（GANs）合成图像的真实感已从尚可接受提升至近乎完美，这主要得益于网络复杂度的增加，例如添加层数、中间潜空间、风格迁移参数等。这一发展轨迹使得许多最先进的 GAN 规模过于庞大，令许多缺乏大量计算资源的研究者难以使用。有鉴于此，我们探索了一种从现有低复杂度 GAN 中榨取额外性能的方法。形式上，我们提出了一种无监督方法，用于在潜空间中寻找与提升照片真实感相对齐的方向。我们的方法不改变网络结构，同时增强生成图像的保真度。我们使用简单的生成器反演来寻找潜空间中导致图像空间变化最小的方向。利用潜空间的学习结构，我们发现沿该方向移动可纠正许多图像伪影并使图像更具真实感。我们从定性和定量两方面验证了我们的发现，表明沿我们的轨迹存在弗雷歇初始距离（FID）的改善，其超越了原始 GAN 及其他方法（包括一种监督方法）。我们进一步提出一种优化方法，可自动选择路径上的潜向量以平衡样本的变化性与真实感。我们将方法应用于多个不同数据集及三种不同复杂度的架构，以说明我们方法的通用性。通过扩展低复杂度及现有网络的效用，我们希望促进 GAN 的民主化。
引用
@article{arxiv.2104.05518,
title = {Diamond in the rough: Improving image realism by traversing the GAN latent space},
author = {Jeffrey Wen and Fabian Benitez-Quiroz and Qianli Feng and Aleix Martinez},
journal= {arXiv preprint arXiv:2104.05518},
year = {2021}
}