DeepStereo：从世界影像中学习预测新视图

深度网络最近在应用于计算机视觉中的识别和分类问题时取得了巨大成功，但其在图形学问题中的使用却很有限。在这项工作中，我们提出了一种新颖的深度架构，它直接从像素执行新视图合成，并从大量带位姿的图像集中训练得到。与由多个复杂处理阶段组成的传统方法（每个阶段都需要仔细调参且可能以意外方式失败）不同，我们的系统是端到端训练的。将场景的相邻视图的像素输入网络，网络随后直接生成未见视图的像素。我们方法的优势包括通用性（我们只需要带位姿的图像集，并且可以轻松地将我们的方法应用于不同领域），以及在传统困难场景上的高质量结果。我们相信这是由于我们系统的端到端特性，它能够根据从训练数据中自动学习的颜色、深度和纹理先验合理地生成像素。为了验证我们的方法，我们展示了它可以从邻近图像令人信服地复现已知的测试视图。此外，我们展示了从新颖视点渲染的图像。据我们所知，我们的工作是首个将深度学习应用于从真实世界自然图像集进行新视图合成问题的。