协作助力相机在 3D 检测中超越 LiDAR
计算机视觉与模式识别
2023-03-27 v1
摘要
与基于 LiDAR 的检测系统相比，仅相机 3D 检测以简单配置提供了经济高效的 3D 空间物体定位方案。然而，由于输入中缺乏直接 3D 测量，主要挑战在于精确深度估计。许多先前方法试图通过网络设计（如可变形层与更大感受野）改进深度估计。本工作提出了一个正交方向，通过引入多智能体协作来改进仅相机 3D 检测。我们提出的协作式仅相机 3D 检测（CoCa3D）使智能体通过通信相互共享互补信息。同时，我们通过选择最具信息量的线索来优化通信效率。来自多视点的共享消息消除了单智能体估计深度的歧义，并补充了单智能体视图中被遮挡与远距离区域。我们在一个真实世界数据集与两个新仿真数据集上评估 CoCa3D。结果表明，CoCa3D 在 DAIR-V2X 上以 AP@70 提升先前 SOTA 性能 44.21%，在 OPV2V+ 上提升 30.60%，在 CoPerception-UAVs+ 上提升 12.59%。我们的初步结果显示出一种潜力：在充分协作下，相机可能在某些实际场景中超越 LiDAR。我们在 https://siheng-chen.github.io/dataset/CoPerception+ 与 https://github.com/MediaBrain-SJTU/CoCa3D 发布了数据集与代码。
引用
@article{arxiv.2303.13560,
title = {Collaboration Helps Camera Overtake LiDAR in 3D Detection},
author = {Yue Hu and Yifan Lu and Runsheng Xu and Weidi Xie and Siheng Chen and Yanfeng Wang},
journal= {arXiv preprint arXiv:2303.13560},
year = {2023}
}
备注
Accepted by CVPR23