RoboDepth 挑战赛：面向鲁棒深度估计的方法与进展
计算机视觉与模式识别
2024-09-26 v2 机器人学
摘要
在分布外（OoD）场景（如恶劣天气、传感器失效与噪声污染）下准确的深度估计，对于安全关键型应用十分重要。然而，现有深度估计系统不可避免地受真实世界损坏与扰动影响，难以在此类情况下提供可靠深度预测。本文总结了 RoboDepth 挑战赛的获胜方案——该学术竞赛旨在促进并推进鲁棒 OoD 深度估计。本挑战赛基于新建立的 KITTI-C 与 NYUDepth2-C 基准构建。我们举办了两个独立赛道，分别侧重鲁棒自监督与鲁棒全监督深度估计。在逾两百名参与者中，涌现了九种独特且性能领先的方案，其新颖设计涵盖以下方面：空间与频域增强、掩码图像建模、图像复原与超分辨率、对抗训练、基于扩散的噪声抑制、视觉-语言预训练、学习型模型集成，以及分层特征增强。我们给出了广泛的实验分析并得出具洞察力的观察，以更好理解各设计背后的原理。我们希望本挑战赛能为未来鲁棒可靠深度估计及相关研究奠定坚实基础。获胜团队的数据集、竞赛工具包、研讨会录像与源代码均已公开于挑战赛网站。
引用
@article{arxiv.2307.15061,
title = {The RoboDepth Challenge: Methods and Advancements Towards Robust Depth Estimation},
author = {Lingdong Kong and Yaru Niu and Shaoyuan Xie and Hanjiang Hu and Lai Xing Ng and Benoit R. Cottereau and Liangjun Zhang and Hesheng Wang and Wei Tsang Ooi and Ruijie Zhu and Ziyang Song and Li Liu and Tianzhu Zhang and Jun Yu and Mohan Jing and Pengwei Li and Xiaohua Qi and Cheng Jin and Yingfeng Chen and Jie Hou and Jie Zhang and Zhen Kan and Qiang Ling and Liang Peng and Minglei Li and Di Xu and Changpeng Yang and Yuanqi Yao and Gang Wu and Jian Kuai and Xianming Liu and Junjun Jiang and Jiamian Huang and Baojun Li and Jiale Chen and Shuang Zhang and Sun Ao and Zhenyu Li and Runze Chen and Haiyong Luo and Fang Zhao and Jingze Yu},
journal= {arXiv preprint arXiv:2307.15061},
year = {2024}
}
备注
Technical Report; 65 pages, 34 figures, 24 tables; Code at https://github.com/ldkong1205/RoboDepth