通过视觉-惯性监督增强毫米波雷达点云
机器人学
2024-04-29 v1
摘要
作为对盛行的 LiDAR 和相机系统的补充，毫米波雷达对雾、暴雨和暴雪等恶劣天气条件具有鲁棒性，但其提供的点云稀疏。当前技术通过 LiDAR 数据的监督来增强点云。然而，高性能 LiDAR 价格昂贵，且在车辆上并不常见。本文提出了 mmEMP，这是一种监督学习方法，利用低成本相机和惯性测量单元 (IMU) 来增强雷达点云，从而能够从商业车辆众包训练数据。由于动态物体的空间不可知性，引入视觉-惯性 (VI) 监督具有挑战性。此外，射频多径效应产生的虚假雷达点会导致机器人误解场景。mmEMP 首先设计了一种动态三维重建算法，以恢复动态特征的三维位置。然后，我们设计了一个神经网络来稠密化雷达数据并消除虚假雷达点。我们在现实世界中构建了一个新数据集。大量实验表明，与使用 LiDAR 数据训练的 SOTA 方法相比，mmEMP 取得了具有竞争力的性能。此外，我们使用增强后的点云进行目标检测、定位和建图，以证明 mmEMP 的有效性。
引用
@article{arxiv.2404.17229,
title = {Enhancing mmWave Radar Point Cloud via Visual-inertial Supervision},
author = {Cong Fan and Shengkai Zhang and Kezhong Liu and Shuai Wang and Zheng Yang and Wei Wang},
journal= {arXiv preprint arXiv:2404.17229},
year = {2024}
}
备注
This paper has been accepted by ICRA 2024