Materialist：基于单图像逆渲染的物理编辑

实现物理一致的图像编辑仍然是计算机视觉中的一个重大挑战。现有的图像编辑方法通常依赖神经网络，难以准确处理阴影和折射。相反，基于物理的逆渲染通常需要多视图优化，限制了其在单图像场景中的实用性。在本文中，我们提出了Materialist，一种用于单图像逆渲染的神经初始化的基于物理的渲染管线。与以往使用物理指导神经生成的混合方法不同，我们的方法利用神经网络预测初始材质属性，然后通过渐进式可微渲染进行严格优化。我们的方法支持一系列应用，包括材质编辑、物体插入和重光照，同时还引入了一种通过光线追踪折射编辑材质透明度的有效方法，无需完整的场景几何。此外，我们的环境图估计方法也取得了有竞争力的性能，进一步提高了图像编辑任务的准确性。实验表明，在合成和真实世界数据集上均表现出强劲性能，甚至在具有挑战性的域外图像上也表现出色。