约束深度图几何的多视图立体视觉：一种采用鞍形深度单元的双深度方法
计算机视觉与模式识别
2023-07-19 v1
摘要
基于学习的多视图立体（MVS）方法通过预测准确的深度图来实现精确且完整的 3D 表示。尽管性能优异，现有方法忽略了合适的深度几何在 MVS 中也至关重要这一事实。本文中，我们证明了即使使用相同的深度预测误差，不同的深度几何也存在显著的性能差距。因此，我们引入了一种由鞍形单元（Saddle-Shaped Cells）组成的理想深度几何，其预测深度图围绕真实表面上下振荡，而非保持连续平滑的深度平面。为实现这一点，我们开发了一个称为 Dual-MVSNet（DMVSNet）的由粗到细框架，能够生成振荡深度平面。在技术层面，我们为每个像素预测两个深度值（双深度），并提出一种新颖的损失函数与棋盘形选择策略来约束预测的深度几何。与现有方法相比，DMVSNet 在 DTU 基准上取得高排名，并在具有挑战性的 Tanks and Temples 场景上获得最佳性能，展示了其强大的性能与泛化能力。我们的方法也为 MVS 中考虑深度几何指出了新的研究方向。
引用
@article{arxiv.2307.09160,
title = {Constraining Depth Map Geometry for Multi-View Stereo: A Dual-Depth Approach with Saddle-shaped Depth Cells},
author = {Xinyi Ye and Weiyue Zhao and Tianqi Liu and Zihao Huang and Zhiguo Cao and Xin Li},
journal= {arXiv preprint arXiv:2307.09160},
year = {2023}
}
备注
Accepted by ICCV 2023