基于深度基座模型的稀疏深度传播用于越域深度完成
计算机视觉与模式识别
2025-08-08 v1
摘要
深度完成是计算机视觉中的一个关键挑战,旨在从稀疏深度图重建密集深度图,通常伴随配对的RGB图像。现有的基于学习的模型依赖于精心准备但有限的数据,在越域（OOD）场景中表现显著下降。最近的基座模型在单目深度估计中通过大规模训练展示了卓越的鲁棒性,利用此类模型来增强深度完成模型的鲁棒性是一个具有前景的解决方案。本文提出了一种新颖的深度完成框架,利用深度基座模型在不进行大规模训练的情况下实现卓越的鲁棒性。具体而言,我们利用深度基座模型从RGB图像中提取环境线索,包括结构和语义上下文,以引导稀疏深度信息向缺失区域的传播。我们进一步设计了一种无需任何可学习参数的双空间传播方法,有效地在3D和2D空间中传播稀疏深度,以保持几何结构和局部一致性。为细化复杂结构,我们引入一个可学习的校正模块,逐步调整深度预测以接近真实深度。我们在NYUv2和KITTI数据集上进行训练作为分布内数据集,并在16个其他数据集上进行广泛评估。我们的框架在OOD场景中表现出色,优于现有的领先深度完成方法。我们的模型已发布于 https://github.com/shenglunch/PSD。
引用
@article{arxiv.2508.04984,
title = {Propagating Sparse Depth via Depth Foundation Model for Out-of-Distribution Depth Completion},
author = {Shenglun Chen and Xinzhu Ma and Hong Zhang and Haojie Li and Zhihui Wang},
journal= {arXiv preprint arXiv:2508.04984},
year = {2025}
}
备注
Accepted by IEEE TIP