基于几何引导条件 GAN 的跨视角图像合成
计算机视觉与模式识别
2019-08-08 v2
摘要
我们解决跨两个截然不同视角（即地面（街道）视角与航拍（俯视）视角）生成图像的问题。图像合成本身是一项极具挑战的计算机视觉任务，而当生成以另一视角的图像为条件时更具难度。由于视角差异，两视角间重叠视场小且共同内容少。在此，我们试图保留视角间的像素信息，使生成图像成为跨视角输入图像的逼真表示。为此，我们提出利用单应性（homography）作为引导，基于共同视场在视角间映射图像，以保留输入图像中的细节。随后使用生成对抗网络（GAN）对变换后图像中的缺失区域进行修补并增强真实感。我们详尽的评估与模型对比表明，利用几何约束可为生成图像增添精细细节，并且相较于纯基于像素的合成方法，可作为更优的跨视角图像合成途径。
引用
@article{arxiv.1808.05469,
title = {Cross-view image synthesis using geometry-guided conditional GANs},
author = {Krishna Regmi and Ali Borji},
journal= {arXiv preprint arXiv:1808.05469},
year = {2019}
}
备注
Under review as a journal paper at CVIU. arXiv admin note: substantial text overlap with arXiv:1803.03396