IGNOR: 图像引导的神经对象渲染

我们提出一种习得的图像引导渲染技术,它结合了基于图像的渲染与基于 GAN 的图像合成的优势。我们方法的目标是生成重建对象的照片级真实感重渲染,用于虚拟现实与增强现实应用(例如虚拟展厅、虚拟游览与观光、历史文物的数字检视)。我们工作的核心组件是对视角相关效应的处理。具体而言,我们直接训练一个对象特定的深度神经网络来合成对象的视角相关外观。作为输入数据,我们使用该对象的 RGB 视频。该视频通过多视图立体用于重建对象的代理几何。基于此三维代理,如经典基于图像的渲染那样,可将捕获视图的外观扭曲至新的目标视图。这种扭曲假设漫反射表面,在视角相关效应(如镜面高光)情况下会导致伪影。为此,我们提出 EffectsNet,一个预测视角相关效应的深度神经网络。基于这些估计,我们能够将观测图像转换为漫反射图像。这些漫反射图像可投影至其他视图。在目标视图中,我们的流程重新插入新的视角相关效应。为将多个重投影图像合成为最终输出,我们学习一个合成网络,输出照片级真实感结果。使用这种图像引导方法,网络无需分配容量来“记忆”对象外观,而是学习如何组合捕获图像的外观。我们在合成及真实数据上定性且定量地展示了我们方法的有效性。