生成式视图合成：从单视图语义到新视角图像

内容创作是虚拟现实等应用的核心，但可能繁琐且耗时。近期的图像合成方法通过提供仅凭单张输入图像生成新视图、或将语义图转换为照片级真实感图像的工具有所简化。我们提出进一步推进该领域，引入生成式视图合成（Generative View Synthesis, GVS），其可在给定单张语义图的情况下合成场景的多个照片级真实感视图。我们表明，现有技术的顺序应用（例如语义到图像转换随后单目视图合成）无法捕捉场景结构。相反，我们协同解决语义到图像转换与场景三维布局估计，从而生成保持语义结构的几何一致新视图。我们首先将输入的二维语义图提升为特征空间中场景的三维分层表示，由此保留三维几何结构的语义标签。然后将分层特征投影到目标视图以生成最终的新视角图像。我们在三个不同数据集上验证了方法的优势并与若干先进基线进行比较。我们的方法还允许风格操控与图像编辑操作，例如通过分别简单操控输入风格图像与语义图来添加或移除物体。项目页面见 https://gvsnet.github.io。