FisheyeDepth：针对鱼眼相机的实尺度自监督深度估计模型
计算机视觉与模式识别
2025-03-11 v2 机器人学
摘要
准确的深度估计对于3D场景理解至关重要，尤其是在机器人和自动驾驶领域。鱼眼相机凭借其广角视野具有固有的几何优势，但因稀缺的真实标注数据和图像畸变，其在深度估计中的应用受到限制。我们提出FisheyeDepth，一个专为鱼眼相机设计的自监督深度估计模型。我们在训练过程中将鱼眼相机模型纳入投影与重投影阶段，以处理图像畸变，从而提高深度估计精度和训练稳定性。此外，我们将真实尺度的姿态信息纳入连续帧之间的几何投影中，取代常规姿态网络估计的姿态。实际上，该方法为机器人任务提供必要的物理深度，同时简化了训练和推理流程。此外，我们设计了多通道输出策略，通过在不同尺度上自适应融合特征来提高鲁棒性，减少来自真实姿态数据的噪声。我们通过在公开数据集和真实场景中的评估，展示了该模型在鱼眼图像深度估计方面的优越性能和鲁棒性。项目网站可访问：https://github.com/guoyangzhao/FisheyeDepth。
引用
@article{arxiv.2409.15054,
title = {FisheyeDepth: A Real Scale Self-Supervised Depth Estimation Model for Fisheye Camera},
author = {Guoyang Zhao and Yuxuan Liu and Weiqing Qi and Fulong Ma and Ming Liu and Jun Ma},
journal= {arXiv preprint arXiv:2409.15054},
year = {2025}
}