一种用于鲁棒多视角深度估计的基准与基线
计算机视觉与模式识别
2022-09-15 v1
摘要
近期用于多视角深度估计的深度学习方法要么用于视频深度估计，要么用于多视角立体设置。尽管设置不同，这些方法在技术上是相似的：它们将多个源视角与关键视角相关联，以估计关键视角的深度图。本工作中，我们引入鲁棒多视角深度基准（Robust Multi-View Depth Benchmark），其构建于一组公开数据集之上，并允许在不同域的数据上以两种设置进行评估。我们评估了近期方法，发现跨域性能不均衡。此外，我们考虑第三种设置，其中相机位姿已知且目标是估计具正确尺度的相应深度图。我们表明近期方法在此设置下不能跨数据集泛化，这是因为其代价体输出分布外。为解决此问题，我们提出用于多视角深度估计的 Robust MVD Baseline 模型，其基于现有组件构建但采用新颖的尺度增强流程。它可应用于鲁棒多视角深度估计，且与目标数据无关。我们在 https://github.com/lmb-freiburg/robustmvd 提供了所提基准与基线模型的代码。
引用
@article{arxiv.2209.06681,
title = {A Benchmark and a Baseline for Robust Multi-view Depth Estimation},
author = {Philipp Schröppel and Jan Bechtold and Artemij Amiranashvili and Thomas Brox},
journal= {arXiv preprint arXiv:2209.06681},
year = {2022}
}
备注
Accepted at 3DV 2022