MaRINeR：通过匹配渲染图像与相邻参考图像提升新视角质量

从 3D 重建渲染出逼真图像是许多计算机视觉和机器人管线中不可或缺的任务，尤其是用于混合现实应用以及训练模拟环境中自主智能体。然而，新视角的质量严重依赖于源数据重建，而重建数据常常因几何或外观噪声或缺失而不完美。灵感来自最近参考图像超分辨率网络的成功，本文提出 MaRINeR—a 一种利用相邻映射图像信息来改进目标视角渲染的细化方法。我们首先基于深度特征在目标视角的原始渲染图像与相邻参考之间建立匹配，然后进行分层细节传递。我们在定量指标和定性示例中展示了从显式和隐式场景表示获得的改进渲染。在下游任务中，我们进一步将该方法应用于伪ground-truth 验证、合成数据增强和恢复渲染质量较差的 3D 重建的细节。