ARAI-MVSNet：一种具有自适应深度范围与深度间隔的多视图立体深度估计网络
计算机视觉与模式识别
2023-08-21 v1
摘要
多视图立体（MVS）是几何计算机视觉中的基础问题，旨在利用具有已知相机参数的多视图图像重建场景。然而，主流方法以固定的全像素深度范围和等深度间隔划分来表示场景，这将导致深度平面利用不充分及深度估计不精确。本文提出一种新颖的多阶段由粗到精框架，以实现自适应的全像素深度范围与深度间隔。我们在第一阶段预测一张粗深度图，随后在第二阶段提出自适应深度范围预测模块，借助参考图像及第一阶段所得深度图放大场景，并为后续阶段预测更精确的全像素深度范围。在第三与第四阶段，我们提出自适应深度间隔调整模块，以实现像素级深度范围的自适应变间隔划分。该模块中的深度间隔分布经 Z-score 归一化，可在潜在真实深度值附近分配密集深度假设平面，反之则稀疏，从而实现更精确的深度估计。在四个广泛使用的基准数据集（DTU、TnT、BlendedMVS、ETH 3D）上的大量实验表明，我们的模型取得了最先进的性能并具备有竞争力的泛化能力。特别地，我们的方法在 DTU 数据集上取得了最高的 Acc 与 Overall，同时在 Tanks and Temples 中间与高级数据集上取得了最高的 Recall 与 -score。此外，我们的方法在 BlendedMVS 数据集上亦取得最低的 与 ，并在 ETH 3D 数据集上取得最高的 Acc 与 -score，超越所有所列方法。项目主页：https://github.com/zs670980918/ARAI-MVSNet
引用
@article{arxiv.2308.09022,
title = {ARAI-MVSNet: A multi-view stereo depth estimation network with adaptive depth range and depth interval},
author = {Song Zhang and Wenjia Xu and Zhiwei Wei and Lili Zhang and Yang Wang and Junyi Liu},
journal= {arXiv preprint arXiv:2308.09022},
year = {2023}
}