面向自动驾驶中单目3D目标检测的伪立体方法
计算机视觉与模式识别
2022-03-07 v1
摘要
伪LiDAR 3D检测器通过利用深度估计网络增强深度感知能力并采用基于LiDAR的3D检测架构，在单目3D检测中取得了显著进展。先进的立体3D检测器也能准确定位3D物体。立体视图的图像到图像生成差距远小于图像到LiDAR生成的差距。受此启发，我们提出了一种伪立体（Pseudo-Stereo）3D检测框架，包含三种新颖的虚拟视图生成方法，包括图像级生成、特征级生成和特征克隆，用于从单张图像中检测3D物体。我们对深度感知学习的分析表明，在我们的框架中，深度损失仅在特征级虚拟视图生成中有效，而估计的深度图在图像级和特征级均有效。我们提出了一种视差感知动态卷积，其动态卷积核从视差特征图中采样，以自适应地过滤单张图像的特征用于生成虚拟图像特征，从而缓解由深度估计误差引起的特征退化。截至提交时（2021年11月18日），我们的伪立体3D检测框架在KITTI-3D基准上已发表的单目3D检测器中，在汽车、行人和 cyclist 三类上均排名第1。代码发布于 https://github.com/revisitq/Pseudo-Stereo-3D。
引用
@article{arxiv.2203.02112,
title = {Pseudo-Stereo for Monocular 3D Object Detection in Autonomous Driving},
author = {Yi-Nan Chen and Hang Dai and Yong Ding},
journal= {arXiv preprint arXiv:2203.02112},
year = {2022}
}
备注
Accepted to CVPR 2022