PANDORA：基于偏振辅助的辐射神经分解
计算机视觉与模式识别
2022-03-28 v1 图形学
摘要
从多幅图像重建物体的几何与外观，即逆渲染，是计算机图形学与视觉中的基本问题。逆渲染本质上是病态的，因为所捕获的图像是未知光照条件、材质属性和场景几何的复杂函数。近期，将场景属性表示为基于坐标的神经网络的进展促进了神经逆渲染，实现了令人印象深刻的几何重建与新视角合成。我们的核心洞见是：偏振是神经逆渲染的有用线索，因为偏振强烈依赖于表面法线，并且对漫反射与镜面反射而言是截然不同的。随着商用片上偏振传感器的出现，捕获偏振已变得切实可行。因此，我们提出 PANDORA，一种基于隐式神经表示的偏振逆渲染方法。从物体的多视角偏振图像中，PANDORA 联合提取物体的三维几何，将出射辐射分解为漫反射与镜面反射，并估计照射在物体上的光照。我们展示了 PANDORA 优于最先进的辐射分解技术。PANDORA 输出无纹理伪影的干净表面重建，准确建模强镜面反射，并在实际非结构化场景下估计光照。
引用
@article{arxiv.2203.13458,
title = {PANDORA: Polarization-Aided Neural Decomposition Of Radiance},
author = {Akshat Dave and Yongyi Zhao and Ashok Veeraraghavan},
journal= {arXiv preprint arXiv:2203.13458},
year = {2022}
}
备注
Project webpage: https://akshatdave.github.io/pandora