SurroundDepth：融合环视视图的自监督多相机深度估计
计算机视觉与模式识别
2022-09-21 v3
摘要
从图像进行深度估计是自动驾驶三维感知的基础步骤，也是激光雷达等昂贵深度传感器的经济替代方案。时序光度约束使得无需标签的自监督深度估计成为可能，进一步促进了其应用。然而，现有大多数方法仅基于单目图像预测深度，忽略了现代自动驾驶车辆通常配备的多个环视相机之间的关联。本文提出一种 SurroundDepth 方法，融合来自多个环视视图的信息，以预测跨相机的深度图。具体而言，我们采用一个联合网络处理所有环视视图，并提出一个跨视图 Transformer 来有效融合多视图信息。我们应用跨视图自注意力，高效实现多相机特征图之间的全局交互。与自监督单目深度估计不同，我们能够利用多相机外参矩阵预测真实世界尺度。为实现这一目标，我们采用双帧运动恢复结构来提取尺度感知的伪深度以预训练模型。此外，我们并非预测每个独立相机的自运动，而是估计车辆的统一自运动并将其传递到每个视图，以实现多视图自运动一致性。实验表明，我们的方法在具有挑战性的多相机深度估计数据集 DDAD 和 nuScenes 上达到了最先进的性能。
引用
@article{arxiv.2204.03636,
title = {SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation},
author = {Yi Wei and Linqing Zhao and Wenzhao Zheng and Zheng Zhu and Yongming Rao and Guan Huang and Jiwen Lu and Jie Zhou},
journal= {arXiv preprint arXiv:2204.03636},
year = {2022}
}
备注
Accepted to CoRL 2022. Project page: https://surrounddepth.ivg-research.xyz Code: https://github.com/weiyithu/SurroundDepth