GenDepth：通过地平面嵌入实现任意相机参数下的单目深度估计泛化
计算机视觉与模式识别
2023-12-12 v1 机器人学
摘要
基于学习的单目深度估计利用训练数据中的几何先验，从单张图像实现度量深度感知，这是一个传统上的不适定问题。然而，这些先验通常特定于某个领域，导致在未见数据上的泛化性能有限。除了已得到充分研究的环境域差异外，单目深度估计对由不同相机参数引起的域差异也很敏感，这一点在当前最先进的方法中常被忽视。这个问题在自动驾驶场景中尤为明显，数据集通常由单一车辆-相机设置采集，导致训练数据因固定的透视几何而产生偏差。在本文中，我们挑战这一趋势，引入GenDepth，一种能够对任意车辆-相机设置执行度量深度估计的新模型。为解决缺乏足够多样相机参数数据的问题，我们首先创建了一个定制的合成数据集，使用不同的车辆-相机系统采集。然后，我们设计GenDepth同时优化两个目标：(i) 对合成数据上相机参数变化的等变性，(ii) 使用单一固定车辆-相机系统的真实世界数据集，将学习到的等变性迁移到真实世界环境特征上。为实现这一点，我们提出了一种新颖的相机参数嵌入方法，将其作为地平面深度，并提出了一种新颖的架构，将这些嵌入与对抗性域对齐相结合。我们在多个自动驾驶数据集上验证了GenDepth，展示了其在不同车辆-相机系统上的最先进泛化能力。
引用
@article{arxiv.2312.06021,
title = {GenDepth: Generalizing Monocular Depth Estimation for Arbitrary Camera Parameters via Ground Plane Embedding},
author = {Karlo Koledić and Luka Petrović and Ivan Petrović and Ivan Marković},
journal= {arXiv preprint arXiv:2312.06021},
year = {2023}
}