nLMVS-Net：深度非朗伯多视立体
计算机视觉与模式识别
2022-11-11 v2
摘要
我们提出了一种新颖的多视立体（multi-view stereo, MVS）方法，该方法能够在已知但自然光照下，同时恢复无纹理、复杂非朗伯表面的逐像素深度与表面法线，以及其反射率。我们的核心思想是将 MVS 表述为一个端到端可学习的网络，称之为 nLMVS-Net，其无缝整合辐射度量线索，以利用表面法线作为视角无关的表面特征用于学习到的代价体构建与滤波。它首先通过一种新颖的由阴影恢复形状网络估计各视角的逐像素表面法线概率密度。这些逐像素表面法线密度与输入的多视图像随后被输入到一个新颖的代价体滤波网络，该网络学习恢复逐像素深度与表面法线。反射率也通过与几何重建交替的方式被显式估计。在新建立的合成与真实世界数据集上的大量定量评估表明，nLMVS-Net 能够鲁棒且精确地恢复自然场景中复杂物体的形状与反射率。
引用
@article{arxiv.2207.11876,
title = {nLMVS-Net: Deep Non-Lambertian Multi-View Stereo},
author = {Kohei Yamashita and Yuto Enyo and Shohei Nobuhara and Ko Nishino},
journal= {arXiv preprint arXiv:2207.11876},
year = {2022}
}
备注
Accepted to WACV 2023