用于双目光度立体问题的神经高度图方法
计算机视觉与模式识别
2023-11-13 v1
摘要
本文提出一种新颖且高度实用的双目光度立体(PS)框架,其采集速度与单视图PS相同,但显著提升了估计几何的质量。如同近期神经多视图形状估计框架(如NeRF、SIREN)以及多视图光度立体逆图形方法(例如PS-NeRF),我们将形状估计任务表述为通过学习可微表面与纹理表示,最小化由两视图多光照图像估计的法向之表面法向差异,以及渲染表面强度与观测图像间差异。我们的方法在两个关键方面不同于典型多视图形状估计方法。首先,我们的表面不表示为体素,而是神经高度图,其中表面点高度由深度神经网络计算。其次,不同于PS-NeRF预测平均强度或Guo等人引入朗伯材质假设,我们使用学习的BRDF并进行近场逐点强度渲染。我们的方法在适配双目立体设置的DiLiGenT-MV数据集以及新双目光度立体数据集LUCES-ST上均达到最先进性能。
引用
@article{arxiv.2311.05958,
title = {A Neural Height-Map Approach for the Binocular Photometric Stereo Problem},
author = {Fotios Logothetis and Ignas Budvytis and Roberto Cipolla},
journal= {arXiv preprint arXiv:2311.05958},
year = {2023}
}
备注
WACV 2024