跨视角全景图像合成
计算机视觉与模式识别
2022-03-23 v1 多媒体
摘要
本文研究以俯视航拍图像为条件合成地面视角全景图像的问题,由于两图像域视角不同存在巨大鸿沟,该问题颇具挑战。我们未采用前馈式跨视角映射学习,而是提出一种名为PanoGAN的新型对抗反馈GAN框架,含两个关键组件:对抗反馈模块与双分支判别策略。首先,航拍图像输入生成器以产生目标全景图像及其关联分割图,以利于借助布局语义进行模型训练。其次,由对抗反馈模块编码的判别器特征响应被反馈至生成器以精炼中间表示,从而通过迭代生成过程持续提升生成性能。第三,为追求生成全景图像的高保真与语义一致性,我们在双分支判别策略下提出像素-分割对齐机制,以促进生成器与判别器协作。在两个具挑战性的跨视角图像数据集上的大量实验表明,PanoGAN能生成比最先进方法细节更可信的高质量全景图像。源代码与训练模型见\url{https://github.com/sswuai/PanoGAN}。
引用
@article{arxiv.2203.11832,
title = {Cross-View Panorama Image Synthesis},
author = {Songsong Wu and Hao Tang and Xiao-Yuan Jing and Haifeng Zhao and Jianjun Qian and Nicu Sebe and Yan Yan},
journal= {arXiv preprint arXiv:2203.11832},
year = {2022}
}
备注
Accepted to IEEE Transactions on Multimedia