Depth Pro：千分之一秒级锐利单目度量深度
计算机视觉与模式识别
2025-04-22 v2 机器学习
摘要
我们提出了一种用于零样本度量单目深度估计的基础模型。我们的模型Depth Pro综合了高分辨率深度图，具备前所未有的锐利度和高频细节。预测结果为度量尺度，无需依赖相机内参等元数据。该模型快速，标准GPU上仅需0.3秒即可生成2.25百万像素深度图。这些特性得益于若干技术贡献，包括高效多尺度视觉Transformer用于稠密预测、结合真实与合成数据集的训练协议以实现高精度度量准确度并精准追踪边界、针对估计深度图边界精度的专用评估指标，以及来自单张图像的领先级焦距估计。广泛的实验分析了具体设计选择，证明Depth Pro在多个维度上均优于先前工作。我们已在https://github.com/apple/ml-depth-pro发布代码和模型权重。
引用
@article{arxiv.2410.02073,
title = {Depth Pro: Sharp Monocular Metric Depth in Less Than a Second},
author = {Aleksei Bochkovskii and Amaël Delaunoy and Hugo Germain and Marcel Santos and Yichao Zhou and Stephan R. Richter and Vladlen Koltun},
journal= {arXiv preprint arXiv:2410.02073},
year = {2025}
}
备注
Published at ICLR 2025. Code and weights available at https://github.com/apple/ml-depth-pro