IRON：通过优化神经SDF与材质从光度图像进行逆渲染
计算机视觉与模式识别
2022-04-06 v1
摘要
我们提出了一种称为IRON的神经逆渲染流程，其作用于光度图像并输出以三角网格和材质纹理形式呈现的高质量3D内容，可直接部署于现有图形管线。我们的方法在优化过程中采用有符号距离场(SDFs)和材质的神经表示以利用其灵活性与紧凑性，并提出了一种针对神经SDF的混合优化方案：首先使用体积辐射场方法优化以恢复正确拓扑，随后使用边缘感知的基于物理的表面渲染进一步优化以精炼几何并解耦材质与光照。在第二阶段，我们还从基于网格的可微渲染中汲取灵感，为神经SDF设计了一种新颖的边缘采样算法以进一步提升性能。我们表明我们的IRON相比先前工作实现了显著更优的逆渲染质量。我们的项目页面在此：https://kai-46.github.io/IRON-website/
引用
@article{arxiv.2204.02232,
title = {IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from Photometric Images},
author = {Kai Zhang and Fujun Luan and Zhengqi Li and Noah Snavely},
journal= {arXiv preprint arXiv:2204.02232},
year = {2022}
}
备注
CVPR 2022; Project page is: https://kai-46.github.io/IRON-website/