基于运动深度信息的单目三维目标检测
计算机视觉与模式识别
2023-03-02 v2 机器人学
摘要
鉴于相比多传感器设置更具经济性，从单目输入感知三维物体对机器人系统至关重要。该任务尤为困难，因为单张图像无法提供预测绝对深度值的任何线索。受双目三维目标检测方法的启发，我们利用相机自运动所提供的强几何结构来实现精确的物体深度估计与检测。我们首先对该通用双视图情形进行理论分析，并注意到两个挑战：1) 多次估计的累积误差使得直接预测难以处理；2) 由静态相机与匹配歧义引起的固有困境。相应地，我们建立以几何感知代价体作为深度估计替代方案的立体对应关系，并进一步用单目理解对其补偿以解决第二个问题。我们命名为Depth from Motion (DfM)的框架，随后利用所建立的几何将二维图像特征提升至三维空间，并在其上检测三维物体。我们还提出了一种无位姿DfM，使其在相机位姿不可用时仍可使用。我们的框架在KITTI基准上以较大优势优于最先进的方法。详细的定量与定性分析也验证了我们的理论结论。代码将于 https://github.com/Tai-Wang/Depth-from-Motion 发布。
引用
@article{arxiv.2207.12988,
title = {Monocular 3D Object Detection with Depth from Motion},
author = {Tai Wang and Jiangmiao Pang and Dahua Lin},
journal= {arXiv preprint arXiv:2207.12988},
year = {2023}
}
备注
ECCV 2022 Oral