使用基于物理的渲染网络进行材质编辑

在图像中编辑物体材质的能力是许多内容创作者所期望的。然而，这是一项极具挑战性的任务，因为它需要解耦图像的内禀物理属性。我们提出了一种端到端网络架构，通过复现正向图像形成过程来完成这一任务。具体而言，给定单张图像，该网络首先预测内禀属性，即形状、光照和材质，随后将其提供给渲染层。该层执行网络内图像合成，从而使网络能够理解图像形成过程背后的物理原理。所提出的渲染层是完全可微的，支持漫反射和镜面反射材质，因此可适用于各种问题设置。我们展示了丰富的视觉上合理的材质编辑示例，并提供了广泛的比较研究。