基于代价体金字塔的多视图立体深度推断
计算机视觉与模式识别
2020-03-31 v3
摘要
我们提出一种基于代价体的神经网络,用于从多视图图像进行深度推断。我们证明以由粗到细的方式构建代价体金字塔,而非在固定分辨率上构造代价体,可得到紧凑、轻量的网络,并允许我们推断高分辨率深度图以获得更好的重建结果。为此,我们首先在图像最粗分辨率上基于沿整个深度范围的正面平行平面的均匀采样构建代价体。然后,给定当前深度估计,我们在逐像素深度残差上迭代构建新代价体以进行深度图细化。虽然与 Point-MVSNet 在迭代预测与细化深度方面思路相似,我们表明在代价体金字塔上工作可得到比基于 3D 点的 Point-MVSNet 更紧凑且高效的网络结构。我们进一步提供了(残差)深度采样与图像分辨率之间关系的详细分析,作为构建紧凑代价体金字塔的原则。在基准数据集上的实验结果表明,我们的模型可快 6 倍且性能与最先进方法相近。代码见 https://github.com/JiayuYANG/CVP-MVSNet
引用
@article{arxiv.1912.08329,
title = {Cost Volume Pyramid Based Depth Inference for Multi-View Stereo},
author = {Jiayu Yang and Wei Mao and Jose M. Alvarez and Miaomiao Liu},
journal= {arXiv preprint arXiv:1912.08329},
year = {2020}
}
备注
CVPR 2020 oral