用于360°视场外推的引导式协同调制GAN

我们提出一种从单幅图像外推360°视场的方法,允许对用户控制的外部绘制内容进行合成。为此,我们改进了现有的基于GAN的用于外部绘制全景图像表示的修复架构。我们的方法取得了最先进的结果,并在标准图像质量指标上优于先前的方法。为实现外部绘制的受控合成,我们引入了一种新颖的引导式协同调制框架,其利用一个通用的预训练判别模型来驱动图像生成过程。这样做在保持生成全景图高视觉质量的同时,实现了外推视场中用户控制的语义内容。我们在视场外推上定性定量地展示了我们方法的最先进结果,并对我们的新颖编辑能力提供了透彻分析。最后,我们展示了我们的方法有益于照片中高光泽物体的真实感虚拟插入。