CoordGAN：自监督稠密对应从GAN中涌现

Jiteng Mu; Shalini De Mello; Zhiding Yu; Nuno Vasconcelos; Xiaolong Wang; Jan Kautz; Sifei Liu

CoordGAN：自监督稠密对应从GAN中涌现

计算机视觉与模式识别 2022-03-31 v1

作者: Jiteng Mu , Shalini De Mello , Zhiding Yu , Nuno Vasconcelos , Xiaolong Wang , Jan Kautz , Sifei Liu

摘要

近期进展表明，生成对抗网络(GANs)能沿语义有意义的潜在方向（如姿态、表情、布局等）合成具有平滑变化的图像。虽然这说明GAN隐式学习了跨图像的像素级对应，但鲜有研究探讨如何显式提取它们。本工作中，我们引入坐标GAN（CoordGAN），一种结构-纹理解耦的GAN，其为每张生成图像学习一张稠密对应图。我们将不同图像的对应图表示为从规范坐标系变换而来的扭曲坐标帧，即对应图（描述结构，如人脸形状）通过变换控制。因此，寻找对应归结为在不同对应图中定位同一坐标。在CoordGAN中，我们采样一个变换来表示合成实例的结构，而独立的纹理分支负责渲染与结构正交的外观细节。我们的方法也可通过在生成器之上添加编码器来为真实图像提取稠密对应图。我们通过多个数据集上的分割掩码迁移定量展示了所学稠密对应的质量。我们还表明，相较于现有方法，所提生成器实现了更好的结构与纹理解耦。项目主页：https://jitengmu.github.io/CoordGAN/

关键词

生成对抗网络稠密对应自监督结构-纹理解耦坐标系分割掩码迁移

引用

@article{arxiv.2203.16521,
  title  = {CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs},
  author = {Jiteng Mu and Shalini De Mello and Zhiding Yu and Nuno Vasconcelos and Xiaolong Wang and Jan Kautz and Sifei Liu},
  journal= {arXiv preprint arXiv:2203.16521},
  year   = {2022}
}

备注

Project page: https://jitengmu.github.io/CoordGAN/

CoordGAN：自监督稠密对应从GAN中涌现

摘要

关键词

引用

备注

相关论文