SGM3D：立体引导的单目 3D 目标检测
计算机视觉与模式识别
2023-07-06 v2
摘要
单目 3D 目标检测旨在仅给定单目图像时预测物体在 3D 空间中的位置、尺寸和朝向以及物体类别。由于 2D 图像平面中严重缺乏深度信息这一病态特性，该任务极具挑战。尽管已有方法利用现成深度估计或依赖 LiDAR 传感器来缓解此问题，但对额外深度模型或昂贵设备的依赖严重限制了其在通用 3D 感知中的可扩展性。本文提出一种立体引导的单目 3D 目标检测框架，称为 SGM3D，将立体输入学习到的鲁棒 3D 特征适配以增强单目检测特征。我们创新地提出多粒度域适应（MG-DA）机制，以挖掘网络仅给定单目线索生成立体模拟特征的能力。粗粒度 BEV 特征级与细粒度锚级域适应均被用于单目域中的引导。此外，我们引入基于 IoU 匹配的对齐（IoU-MA）方法，用于立体与单目预测间的物体级域适应，以缓解采用 MG-DA 时的不匹配。大量实验在 KITTI 和 Lyft 数据集上展示了最先进的结果。
引用
@article{arxiv.2112.01914,
title = {SGM3D: Stereo Guided Monocular 3D Object Detection},
author = {Zheyuan Zhou and Liang Du and Xiaoqing Ye and Zhikang Zou and Xiao Tan and Li Zhang and Xiangyang Xue and Jianfeng Feng},
journal= {arXiv preprint arXiv:2112.01914},
year = {2023}
}
备注
8 pages, 5 figures