Worldsheet：用 3D 网格包裹世界以从单张图像进行视角合成

我们提出 Worldsheet，一种仅以单张 RGB 图像作为输入的新视角合成方法。其核心洞见是：简单地将一个平面网格片根据学习到的中间深度收缩包裹到输入图像上，所捕获的底层几何足以以大幅视角变化生成逼真未见视角。为实现这一点，我们提出一种新颖的可微纹理采样器，使我们包裹的网格片能够从目标视角被可微地纹理化并渲染为图像。我们的方法是类别无关的、端到端可训练的，且不使用任何 3D 监督，测试时仅需单张图像。我们还探索了一种简单扩展：堆叠多层 Worldsheet 以更好地处理遮挡。Worldsheet 在多个数据集上的单图像视角合成中持续优于先前最先进方法。此外，这个简单想法在大量高分辨率真实图像上惊人地很好地捕获新视角，将它们转换为可导航的 3D 弹窗。视频结果和代码见 https://worldsheet.github.io。