LiDARTouch：基于少光束 LiDAR 的单目度量深度估计
计算机视觉与模式识别
2022-11-28 v2 人工智能
机器人学
摘要
基于视觉的深度估计是自主系统中的一项关键功能，其通常依赖单个相机或若干独立相机。在此种单目设置中，稠密深度要么通过来自一个或多个昂贵 LiDAR（例如 64 光束）的额外输入获得，要么通过仅相机的方案获得，而后者受尺度模糊与无限深度问题困扰。在本文中，我们提出一种新替代方案，通过将单目相机与轻量级 LiDAR（例如 4 光束，属当今汽车级量产激光扫描仪典型配置）结合来稠密估计度量深度。受近期自监督方法启发，我们引入一个名为 LiDARTouch 的新框架，借助 LiDAR 的“轻触”从单目图像估计稠密深度图，即无需稠密真值深度。在我们的设置中，最小 LiDAR 输入在三个不同层面发挥作用：作为模型的额外输入、用于自监督 LiDAR 重建目标函数、以及用于估计位姿变化（自监督深度估计架构的关键组件）。我们的 LiDARTouch 框架在 KITTI 数据集上取得了自监督深度估计的新 SOTA，从而支持了我们将极稀疏 LiDAR 信号与其他视觉特征融合的选择。此外，我们表明少光束 LiDAR 的使用缓解了仅相机方法所遭受的尺度模糊与无限深度问题。我们还证明，来自全监督深度补全文献的方法可被适配到具有最小 LiDAR 信号的自监督机制中。
引用
@article{arxiv.2109.03569,
title = {LiDARTouch: Monocular metric depth estimation with a few-beam LiDAR},
author = {Florent Bartoccioni and Éloi Zablocki and Patrick Pérez and Matthieu Cord and Karteek Alahari},
journal= {arXiv preprint arXiv:2109.03569},
year = {2022}
}