DoubleTake：几何引导的深度估计
计算机视觉与模式识别
2024-07-16 v2 机器学习
摘要
从序列带姿态的 RGB 图像估计深度是计算机视觉中的一个基本任务，具有增强现实、路径规划等应用。先前工作通常利用多视图立体框架中的前序帧，依赖局部邻域内的纹理匹配。相比之下，我们的方法利用历史预测数据，将最新的 3D 几何数据作为额外输入提供给网络。这种自生成的几何线索可以编码场景中未被关键帧覆盖的区域的信息，并且相对于单个预测深度图在正则化方面更优。我们引入 Hint MLP，将成本体积特征与来自当前相机位置渲染的深度图线索以及先验几何置信度度量相结合。我们展示了该方法可在交互式速度下实现最先进的深度和 3D 场景重建估计，在离线和增量评估场景中均表现优异。
引用
@article{arxiv.2406.18387,
title = {DoubleTake: Geometry Guided Depth Estimation},
author = {Mohamed Sayed and Filippo Aleotti and Jamie Watson and Zawar Qureshi and Guillermo Garcia-Hernando and Gabriel Brostow and Sara Vicente and Michael Firman},
journal= {arXiv preprint arXiv:2406.18387},
year = {2024}
}
备注
ECCV 2024 Version