基于生成对抗网络的无监督图像变换学习
计算机视觉与模式识别
2022-10-07 v2
摘要
本文中，我们研究图像变换问题，其目标是从一组无标签图像中学习底层变换（例如季节更替）。然而，现实世界中存在无数种变换，使得该任务极具挑战性，尤其在无监督设定下。为应对此障碍，我们提出一种构建于生成对抗网络（GANs）上的新颖学习框架，其中判别器与生成器共享一个变换空间。模型充分优化后，共享空间内任意两点预期可定义一个有效变换。如此，在推理阶段，我们通过将可定制图像对投影到变换空间，充分提取二者间的变异因子。所得变换向量可进一步引导图像合成，促进具有连续语义变化的图像编辑（例如以秋季为中间步骤将夏季改为冬季）。值得注意的是，所学变换空间不仅支持图像风格迁移（例如昼夜变换），也支持图像内容操控（例如天空中添加云朵）。此外，我们对变换空间的性质做了深入分析，以助于理解各种变换如何组织。项目页面位于 https://genforce.github.io/trgan/。
引用
@article{arxiv.2103.07751,
title = {Unsupervised Image Transformation Learning via Generative Adversarial Networks},
author = {Kaiwen Zha and Yujun Shen and Bolei Zhou},
journal= {arXiv preprint arXiv:2103.07751},
year = {2022}
}