注意边缘:在稀疏监督单目深度估计中细化深度边缘
计算机视觉与模式识别
2024-04-04 v3
摘要
单目深度估计 (Monocular Depth Estimation, MDE) 是计算机视觉中的基础问题,具有众多应用。近来,LIDAR 监督方法在室外场景中取得了卓越的逐像素深度精度。然而,在深度不连续处(即深度边缘)附近通常存在显著误差,这往往阻碍了对此类不准确性敏感的依赖深度的应用(例如新视角合成与增强现实)的性能。由于稀疏基于 LIDAR 的场景中通常无法直接获得深度边缘位置的真值监督,促使 MDE 模型产生正确深度边缘并非易事。据我们所知,本文是首个针对基于 LIDAR 监督场景的深度边缘问题开展研究的尝试。本工作中,我们提出从密集监督的合成数据中学习检测深度边缘位置,并利用其为 MDE 训练中的深度边缘生成监督。为定量评估我们的方法,且因基于 LIDAR 的场景缺乏深度边缘真值 (GT),我们手动标注了 KITTI 与 DDAD 数据集的子集并给出深度边缘真值。我们在多个具有挑战性的数据集上展示了深度边缘精度的显著提升,且逐像素深度精度相当。代码与数据集见 \url{https://github.com/liortalker/MindTheEdge}。
引用
@article{arxiv.2212.05315,
title = {Mind The Edge: Refining Depth Edges in Sparsely-Supervised Monocular Depth Estimation},
author = {Lior Talker and Aviad Cohen and Erez Yosef and Alexandra Dana and Michael Dinerstein},
journal= {arXiv preprint arXiv:2212.05315},
year = {2024}
}
备注
Appears in CVPR24'