SharpDepth:基于扩散蒸馏锐化度量深度预测
计算机视觉与模式识别
2024-11-28 v1
摘要
我们提出SharpDepth,一种新的单目度量深度估计方法,将度量精度的判别深度估计方法(如Metric3D、UniDepth)与生成方法(如Marigold、Lotus)通常实现的细粒度边界锐度相结合。传统判别模型在具有稀疏真实深度的真实世界数据上进行训练,能够准确预测度量深度,但常产生过平滑或细节不足的深度图。相比,生成模型在稠密真实深度的合成数据上进行训练,生成具有锐利边界的深度图,但仅提供低精度的相对深度。我们的 метод通过整合度量精度与细节边界保持,实现既度量精确又视觉锐利的深度预测。我们在标准深度估计基准上进行了广泛的零样本评估,确认了SharpDepth的有效性,证明其能够实现高深度精度和细节表征,适用于需要高质量深度感知的应用,覆盖多样化的真实世界环境。
引用
@article{arxiv.2411.18229,
title = {SharpDepth: Sharpening Metric Depth Predictions Using Diffusion Distillation},
author = {Duc-Hai Pham and Tung Do and Phong Nguyen and Binh-Son Hua and Khoi Nguyen and Rang Nguyen},
journal= {arXiv preprint arXiv:2411.18229},
year = {2024}
}
备注
Uncompressed version can be found in https://drive.google.com/file/d/1MG4-d_xDERVBCRfLDolNLnMLLuqd7qRz