用于高分辨率多视立体与立体匹配的级联代价体
计算机视觉与模式识别
2020-06-08 v3
摘要
深度多视立体(MVS)和立体匹配方法通常构建 3D 代价体以正则化并回归输出的深度或视差。当 needing 高分辨率输出时这些方法受限，因为内存和时间成本随体分辨率增加成立方增长。在本文中，我们提出了一种内存和时间均高效的代价体公式，它是对现有基于 3D 代价体的多视立体和立体匹配方法的补充。首先，所提代价体建立于标准特征金字塔之上，该金字塔在逐渐更精细的尺度上编码几何与上下文。然后，我们可以通过前一阶段的深度(或视差)图缩小每一阶段的深度(或视差)范围。随着代价体分辨率逐渐升高和深度(或视差)区间的自适应调整，输出以由粗到精的方式恢复。我们将级联代价体应用于代表性的 MVS-Net，在 DTU 基准上获得 23.1% 的提升(第 1 名)，GPU 内存和运行时间分别减少 50.6% 和 74.2%。它也是 Tanks and Temples 基准上最先进的基于学习的方法。在其他代表性立体 CNN 上的精度、运行时间和 GPU 内存统计也验证了我们所提方法的有效性。
引用
@article{arxiv.1912.06378,
title = {Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching},
author = {Xiaodong Gu and Zhiwen Fan and Zuozhuo Dai and Siyu Zhu and Feitong Tan and Ping Tan},
journal= {arXiv preprint arXiv:1912.06378},
year = {2020}
}
备注
Accepted by CVPR2020 Oral