通过稀疏先验实现水下机器人度量尺度单目深度估计
计算机视觉与模式识别
2023-10-26 v1 机器人学
摘要
在这项工作中，我们解决了移动式水下航行器从单目图像进行实时稠密深度估计的问题。我们构建了一个深度学习模型，该模型融合来自三角化特征的稀疏深度测量以改进深度预测并解决尺度模糊问题。为允许任意稀疏度的先验输入，我们应用了一种稠密参数化方法。我们的模型扩展了近期最先进的基于单目图像的深度估计方法，使用高效的编码器-解码器主干和现代轻量级Transformer优化阶段来编码全局上下文。该网络在向前观测的水下数据集FLSea上以监督方式进行训练。在该数据集上的评估结果证明，通过融合稀疏特征先验，深度预测精度得到显著提升。此外，无需任何重新训练，我们的方法在使用潜水员操作相机装置收集的向下观测数据集（对珊瑚礁进行调查）上实现了相似的深度预测精度。该方法实现了实时性能，在笔记本电脑GPU上以160 FPS运行，在单CPU核上以7 FPS运行，适用于直接部署在嵌入式系统上。本工作的实现已在 https://github.com/ebnerluca/uw_depth 公开提供。
引用
@article{arxiv.2310.16750,
title = {Metrically Scaled Monocular Depth Estimation through Sparse Priors for Underwater Robots},
author = {Luca Ebner and Gideon Billings and Stefan Williams},
journal= {arXiv preprint arXiv:2310.16750},
year = {2023}
}
备注
Submitted to ICRA 2024