基于知识蒸馏的结构中心化鲁棒单目深度估计
计算机视觉与模式识别
2024-10-10 v1
摘要
单目深度估计作为自监督学习的关键技术,对于计算机视觉中的3D感知具有重要作用。然而,它在现实场景中面临显著挑战,这些场景包括恶劣天气变化、运动模糊以及夜间照明条件不良的场景。我们的研究揭示,单目深度估计可以分为三个子问题:深度结构一致性、局部纹理消歧和语义-结构相关性。我们的ethods通过采用结构中心化的视角,利用语义和照明所展示的场景结构特征来应对现有自监督单目深度估计模型对干扰纹理的非鲁棒性。我们设计了一种新颖的方法,以减少对局部纹理的过度依赖,增强对缺失或干扰图案的鲁棒性。此外,我们将语义专家模型作为教师,构建可学习的同构图来实现模型特征依赖的聚合,以整合语义结构知识。我们的methods在多个公开的恶劣场景数据集上实现了最先进的跨域单目深度估计性能。它显示出显著的可扩展性和兼容性,不需要大量的模型工程。这展示了为不同工业应用定制模型的潜力。
引用
@article{arxiv.2410.06982,
title = {Structure-Centric Robust Monocular Depth Estimation via Knowledge Distillation},
author = {Runze Chen and Haiyong Luo and Fang Zhao and Jingze Yu and Yupeng Jia and Juan Wang and Xuepeng Ma},
journal= {arXiv preprint arXiv:2410.06982},
year = {2024}
}
备注
To be published in Asian Conference on Computer Vision 2024