基于跨模态特征增强的激光雷达-雷达点云鲁棒三维目标检测
计算机视觉与模式识别
2024-03-13 v3 机器人学
摘要
本文提出了一种通过跨模态幻觉实现鲁棒三维目标检测的新型框架。我们提出的方法对激光雷达与 4D 雷达之间的幻觉方向无关。我们引入了空间与特征两个层面的多重对齐，以实现主干网络精炼与幻觉生成的同步。具体而言，提出空间对齐以处理几何差异，从而更好地匹配激光雷达与雷达间的实例。特征对齐步骤进一步弥合传感模态之间的固有属性差距并稳定训练。训练后的目标检测模型能更好地应对困难检测场景，即便推理阶段仅以单模态数据作为输入。在 View-of-Delft（VoD）数据集上的大量实验表明，我们所提方法在雷达与激光雷达目标检测上均优于最先进（SOTA）方法，同时保持了具有竞争力的运行效率。代码见 https://github.com/DJNing/See_beyond_seeing。
引用
@article{arxiv.2309.17336,
title = {Robust 3D Object Detection from LiDAR-Radar Point Clouds via Cross-Modal Feature Augmentation},
author = {Jianning Deng and Gabriel Chan and Hantao Zhong and Chris Xiaoxuan Lu},
journal= {arXiv preprint arXiv:2309.17336},
year = {2024}
}
备注
Accepted to ICRA 2024. 8 pages, 4 figures. Equal contribution for Gabriel Chan and Hantao Zhong, listed randomly