CRN：用于精确、鲁棒、高效三维感知的相机雷达网络
计算机视觉与模式识别
2023-12-27 v3 人工智能
机器人学
摘要
自动驾驶需要一套准确且快速的三维感知系统，包含三维目标检测、跟踪与分割。尽管近期低成本基于相机的方法已展现出前景，但它们易受光照不佳或恶劣天气影响，且定位误差较大。因此，将相机与提供精确远程测量并在所有环境中可靠工作的低成本雷达融合颇具前景，但尚未被深入探究。本文提出相机雷达网络（CRN），一种新颖的相机-雷达融合框架，可为各类任务生成语义丰富且空间准确的鸟瞰图（BEV）特征图。为克服图像中空间信息的缺失，我们借助稀疏但准确的雷达点将透视视图图像特征变换至BEV。我们进一步使用为多模态可变形注意力设计的模块聚合BEV中的图像与雷达特征图，以解决输入间的空间错位。实时设置的CRN以20 FPS运行，同时在nuScenes上取得与LiDAR检测器相当的性能，并在100m设置的远距离上甚至更优。此外，离线设置的CRN在nuScenes测试集上取得62.4% NDS、57.5% mAP，并在所有相机及相机-雷达三维目标检测器中排名第一。
引用
@article{arxiv.2304.00670,
title = {CRN: Camera Radar Net for Accurate, Robust, Efficient 3D Perception},
author = {Youngseok Kim and Juyeb Shin and Sanmin Kim and In-Jae Lee and Jun Won Choi and Dongsuk Kum},
journal= {arXiv preprint arXiv:2304.00670},
year = {2023}
}
备注
IEEE/CVF International Conference on Computer Vision (ICCV'23). Code is available at https://github.com/youngskkim/CRN