GAN监督的稠密视觉对齐
计算机视觉与模式识别
2022-04-06 v2
摘要
我们提出GAN监督学习（GAN-Supervised Learning），一种端到端联合学习判别模型及其GAN生成训练数据的框架。我们将该框架应用于稠密视觉对齐问题。受经典Congealing方法启发，我们的GANgealing算法训练一个空间变换器（Spatial Transformer），将基于未对齐数据训练的GAN中的随机样本映射到共同的、联合学习的目标模式。我们在八个数据集上展示了结果，均表明我们的方法成功对齐了复杂数据并发现了稠密对应关系。GANgealing显著优于过去的自监督对应算法，并在多个数据集上与最先进的监督对应算法表现相当（有时超越）——无需使用任何对应监督或数据增强，且尽管仅在GAN生成数据上训练。对于精确对应，我们比最先进监督方法的提升高达。我们展示了我们的方法在增强现实、图像编辑和用于下游GAN训练的图像数据集自动预处理方面的应用。
引用
@article{arxiv.2112.05143,
title = {GAN-Supervised Dense Visual Alignment},
author = {William Peebles and Jun-Yan Zhu and Richard Zhang and Antonio Torralba and Alexei A. Efros and Eli Shechtman},
journal= {arXiv preprint arXiv:2112.05143},
year = {2022}
}
备注
An updated version of our CVPR 2022 paper (oral); v2 features additional references and minor text changes. Code available at https://www.github.com/wpeebles/gangealing . Project page and videos available at https://www.wpeebles.com/gangealing