SDGE: 面向360°相机组的立体引导深度估计
计算机视觉与模式识别
2024-04-03 v4
摘要
深度估计是自动驾驶中的一项关键技术，多相机系统常用于实现360°感知。这些360°相机组通常具有有限或低质量的重叠区域，使得多视图立体方法无法应用于整个图像。或者，单目方法可能无法产生一致的跨视图预测。为了解决这些问题，我们提出了立体引导深度估计（SGDE）方法，该方法通过显式利用重叠区域的多视图立体结果来增强整个图像的深度估计。我们建议构建虚拟针孔相机以解决鱼眼相机的畸变问题，并统一处理两种类型的360°相机。为了处理不稳定运动引起的相机位姿变化噪声，该方法采用自标定方法获得具有较小重叠的相邻相机的高精度相对位姿。这使得能够使用鲁棒的立体方法在重叠区域获得高质量的深度先验。该先验不仅作为额外输入，还作为伪标签，提高了深度估计方法的精度并改善了跨视图预测的一致性。SGDE的有效性在一个鱼眼相机数据集Synthetic Urban以及两个针孔相机数据集DDAD和nuScenes上进行了评估。我们的实验表明，SGDE对有监督和自监督深度估计均有效，并突显了我们的方法在推进下游自动驾驶技术（如3D目标检测和占用预测）方面的潜力。
引用
@article{arxiv.2402.11791,
title = {SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets},
author = {Jialei Xu and Wei Yin and Dong Gong and Junjun Jiang and Xianming Liu},
journal= {arXiv preprint arXiv:2402.11791},
year = {2024}
}