中文

注意边缘:在稀疏监督单目深度估计中细化深度边缘

计算机视觉与模式识别 2024-04-04 v3

摘要

单目深度估计 (Monocular Depth Estimation, MDE) 是计算机视觉中的基础问题,具有众多应用。近来,LIDAR 监督方法在室外场景中取得了卓越的逐像素深度精度。然而,在深度不连续处(即深度边缘)附近通常存在显著误差,这往往阻碍了对此类不准确性敏感的依赖深度的应用(例如新视角合成与增强现实)的性能。由于稀疏基于 LIDAR 的场景中通常无法直接获得深度边缘位置的真值监督,促使 MDE 模型产生正确深度边缘并非易事。据我们所知,本文是首个针对基于 LIDAR 监督场景的深度边缘问题开展研究的尝试。本工作中,我们提出从密集监督的合成数据中学习检测深度边缘位置,并利用其为 MDE 训练中的深度边缘生成监督。为定量评估我们的方法,且因基于 LIDAR 的场景缺乏深度边缘真值 (GT),我们手动标注了 KITTI 与 DDAD 数据集的子集并给出深度边缘真值。我们在多个具有挑战性的数据集上展示了深度边缘精度的显著提升,且逐像素深度精度相当。代码与数据集见 \url{https://github.com/liortalker/MindTheEdge}。

关键词

引用

@article{arxiv.2212.05315,
  title  = {Mind The Edge: Refining Depth Edges in Sparsely-Supervised Monocular Depth Estimation},
  author = {Lior Talker and Aviad Cohen and Erez Yosef and Alexandra Dana and Michael Dinerstein},
  journal= {arXiv preprint arXiv:2212.05315},
  year   = {2024}
}

备注

Appears in CVPR24'