ReShader：面向单图像视图合成的相关视角高光

近年来，得益于 3D 场景表示与图像修复技术的快速发展，从单幅图像进行新视角合成取得了显著进展。尽管现有方法能够合成几何一致的新视角，它们往往不能妥善处理视角相关效应。具体而言，其合成图像中的高光常显得附着在表面上，使新视角不真实。为解决这一主要问题，我们提出一个关键观察：合成新视角的过程需要根据新相机改变像素的着色，并将其移动到合适位置。因此，我们提议将视图合成过程拆分为像素重着色与重定位两个独立任务。在重着色过程中，我们以单幅图像为输入，并基于新相机调整其着色。该重着色图像随后作为现有视图合成方法的输入，以重定位像素并生成最终的新视角图像。我们提议使用神经网络执行重着色，并生成大量合成的输入-重着色图像对来训练我们的网络。我们展示了我们的方法能在多种真实场景上生成具有逼真移动高光的合理新视角图像。