挑战性条件下的鲁棒单目深度估计
计算机视觉与模式识别
2024-01-23 v1 机器学习
机器人学
摘要
尽管最先进的单目深度估计方法在理想环境下取得令人印象深刻的成果,但在具有挑战性的光照与天气条件(如夜间或下雨)下高度不可靠。在本文中,我们揭示了这些安全关键问题,并以 md4all 解决:一种在恶劣与理想条件及不同类型学习监督下均可靠工作的简单有效方案。我们通过利用现有方法在完美设置下的效力实现这一点。因此,我们独立于输入内容提供有效训练信号。首先,我们生成一组对应于正常训练样本的复杂样本。然后,我们通过输入生成的样本并基于相应原始图像计算标准损失,以自监督或全监督引导训练模型。如此,单一模型可在推理时无需修改即可跨多样条件恢复信息。在 nuScenes 与 Oxford RobotCar 两个具挑战性公开数据集上的大量实验证明了我们技术的有效性,在标准与挑战性条件下均以大幅优势优于先前工作。源代码与数据见:https://md4all.github.io。
引用
@article{arxiv.2308.09711,
title = {Robust Monocular Depth Estimation under Challenging Conditions},
author = {Stefano Gasperini and Nils Morbitzer and HyunJun Jung and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:2308.09711},
year = {2024}
}
备注
ICCV 2023. Source code and data: https://md4all.github.io