HybridDepth：利用聚焦深度与单图像先验的鲁棒度量深度融合
计算机视觉与模式识别
2024-12-30 v3
摘要
我们提出了 HYBRIDDEPTH，一套鲁棒的深度估计管道，旨在解决深度估计中的关键挑战，包括尺度模糊、硬件异构性和泛化性问题。HYBRIDDEPTH 利用焦点栈，这种数据在常见移动设备中易于获取，以产生准确的度量深度图。通过融合最近进展在单图像深度估计中提供的深度先验，我们的模型实现了与现有方法相比更高的结构细节水平。我们将该管道测试为一个端到端系统，开发了一个新的移动客户端来捕获焦点栈，然后将其发送到配备 GPU 的服务器进行深度估计。综合的定量和定性分析表明，HYBRIDDEPTH 在诸如 DDFF12 和 NYU Depth V2 等常见数据集上的 SOTA 模型中表现优异。HYBRIDDEPTH 还显示出强大的零样本泛化能力。在使用 NYU Depth V2 训练的情况下，HYBRIDDEPTH 在 ARKitScenes 和 Mobile Depth 上的零样本性能均超过 SOTA 模型，并在结构上更准确地生成深度图。代码已公开于 https://github.com/cake-lab/HybridDepth/。
引用
@article{arxiv.2407.18443,
title = {HybridDepth: Robust Metric Depth Fusion by Leveraging Depth from Focus and Single-Image Priors},
author = {Ashkan Ganj and Hang Su and Tian Guo},
journal= {arXiv preprint arXiv:2407.18443},
year = {2024}
}
备注
WACV 2025