通过启用深度图像先验实现重着色以进行剪切粘贴物体插入

我们展示了如何将一个图像中的物体插入到另一个图像中，并在困难情况下获得逼真的结果，即插入物体的光照与场景的光照相冲突。使用场景的照明模型渲染物体是行不通的，因为这样做需要物体的几何和材质模型，而这是难以从单幅图像中恢复的。在本文中，我们提出了一种方法，可在不需要几何和物理模型或环境贴图的情况下纠正插入物体的光照不一致。我们的方法使用深度图像先验（DIP），通过一致的图像分解推断损失训练以生成插入物体的重着色渲染。DIP 生成的图像旨在具有 (a) 与剪切粘贴反照率相似的反照率，(b) 与目标场景相似的光照场，以及 (c) 与剪切粘贴表面法线一致的光照。结果是一个简单的流程，可生成令人信服的插入物体光照。我们通过定性及定量的方式展示了我们的方法对具有复杂表面属性的若干物体的有效性，并在球形灯罩数据集上进行了定量评估。我们的方法在所有这些物体上都显著优于图像协调（IH）基线。在超过 100 名用户的用户研究中，它们也优于剪切粘贴和 IH 基线。