基于运动与结构先验的合成到真实自监督鲁棒深度估计
计算机视觉与模式识别
2025-03-27 v1 机器人学
摘要
在多种室外条件(如白天、雨天和夜晚)下进行单目相机自监督深度估计是一项具有挑战性的任务,其难点在于难以学习通用表征,且真实场景下的恶劣条件标注数据严重匮乏。以往方法要么依赖合成输入与伪深度标签,要么直接将白天策略应用于恶劣条件,导致结果欠佳。本文提出了首个合成到真实的鲁棒深度估计框架,通过引入运动与结构先验来有效捕获真实世界知识。在合成域自适应阶段,我们将运动-结构知识迁移至代价体积内部以获得更好的鲁棒表征,使用一个固定的白天模型在合成恶劣条件下训练深度估计器。在创新的真实域自适应阶段,针对缩小合成与真实之间的差距,先前训练的模型通过设计的一致性重加权策略识别天气无关区域,以强化有效的伪标签。我们引入了一种新的正则化方法,通过汇集显式深度分布来约束模型面对真实世界数据时的输出。实验表明,我们的方法在多种条件下的多帧与单帧评估中均优于现有最先进方法。在 nuScenes 和 Robotcar 数据集(白天、夜晚、雨天)上,我们的方法在 AbsRel 和 RMSE 上平均分别提升了 7.5% 和 4.3%。在 DrivingStereo(雨天、雾天)的零样本评估中,我们的方法相比以往方法具有更好的泛化能力。
引用
@article{arxiv.2503.20211,
title = {Synthetic-to-Real Self-supervised Robust Depth Estimation via Learning with Motion and Structure Priors},
author = {Weilong Yan and Ming Li and Haipeng Li and Shuwei Shao and Robby T. Tan},
journal= {arXiv preprint arXiv:2503.20211},
year = {2025}
}