中文

FoVA-Depth:面向跨数据集泛化的视场无关深度估计

计算机视觉与模式识别 2024-01-26 v1

摘要

宽视场(FoV)相机能高效捕获场景的大部分区域,这使其在汽车和机器人等多个领域具有吸引力。对于此类应用,从多幅图像中估计深度是一项关键任务,因此存在大量真值(GT)数据。然而,大多数真值数据是针对针孔相机的,这使得无法为宽视场相机正确训练深度估计模型。我们提出了首个方法,能够在广泛可用的针孔数据上训练立体深度估计模型,并将其泛化到用更大视场捕获的数据上。我们的直觉很简单:我们将训练数据扭曲到一个规范的、大视场表示,并对其进行增强,以使单个网络能够推理出各种类型的畸变,否则这些畸变会阻碍泛化。我们在室内和室外数据集上展示了我们方法强大的泛化能力,这是以往方法无法实现的。

关键词

引用

@article{arxiv.2401.13786,
  title  = {FoVA-Depth: Field-of-View Agnostic Depth Estimation for Cross-Dataset Generalization},
  author = {Daniel Lichy and Hang Su and Abhishek Badki and Jan Kautz and Orazio Gallo},
  journal= {arXiv preprint arXiv:2401.13786},
  year   = {2024}
}

备注

3DV 2024 (Oral); Project Website: https://research.nvidia.com/labs/lpr/fova-depth/