基于非参数深度分布建模的多视立体深度推断
计算机视觉与模式识别
2022-05-10 v1
摘要
近期基于代价体金字塔的深度神经网络已释放出利用高分辨率图像从多视立体中进行高效深度推断的潜力。一般而言，这些方法假设每个像素的深度服从单峰分布。边界像素通常服从多峰分布，因为它们代表不同深度；因此，该假设在代价体金字塔的较粗层级导致错误的深度预测，且无法在细化层级中被纠正，从而产生错误的深度预测。相比之下，我们提出通过非参数深度分布建模来构建代价体，以处理具有单峰和多峰分布的像素。我们的方法在较粗层级输出多个深度假设，以避免早期阶段的错误。由于我们在后续层级围绕这些多个假设进行局部搜索，我们的方法不保持严格的深度空间排序，因此引入了一个稀疏代价聚合网络以在每个体内部提取信息。我们在两个基准数据集 DTU 和 Tanks & Temples 上对我们的方法进行了广泛评估。实验结果表明，我们的模型大幅优于现有方法，并在边界区域取得了优越性能。代码见 https://github.com/NVlabs/NP-CVP-MVSNet
引用
@article{arxiv.2205.03783,
title = {Non-parametric Depth Distribution Modelling based Depth Inference for Multi-view Stereo},
author = {Jiayu Yang and Jose M. Alvarez and Miaomiao Liu},
journal= {arXiv preprint arXiv:2205.03783},
year = {2022}
}
备注
CVPR 2022