DREAM-PCD:毫米波雷达点云的深度重建与增强
图像与视频处理
2023-09-28 v1 机器人学
摘要
毫米波(mmWave)雷达点云因在烟雾和低照度等挑战性条件下的鲁棒性,为3D感知提供了诱人潜力。然而,现有方法未能同时应对毫米波雷达点云重建中的三大主要挑战:镜面信息丢失、低角分辨率以及强干扰与噪声。本文中,我们提出DREAM-PCD,一种将信号处理与深度学习方法结合于三个精心设计的组件中以解决全部三大挑战的新框架:非相干累积用于稠密点,合成孔径累积用于改善角分辨率,以及真实去噪多帧网络用于去除噪声与干扰。此外,DREAM-PCD中的因果多帧与“真实去噪”机制显著增强了泛化性能。我们还引入了RadarEyes,一个包含超1,000,000帧的最大毫米波室内数据集,其独特设计融合了两部正交单芯片雷达、激光雷达与相机,丰富了数据集多样性与应用。实验结果表明,DREAM-PCD在重建质量上超越现有方法,并展现出优越的泛化与实时能力,可在各种参数与场景下实现雷达点云的高质量实时重建。我们相信,DREAM-PCD连同RadarEyes数据集将显著推进未来真实世界应用中的毫米波雷达感知。
引用
@article{arxiv.2309.15374,
title = {DREAM-PCD: Deep Reconstruction and Enhancement of mmWave Radar Pointcloud},
author = {Ruixu Geng and Yadong Li and Dongheng Zhang and Jincheng Wu and Yating Gao and Yang Hu and Yan Chen},
journal= {arXiv preprint arXiv:2309.15374},
year = {2023}
}
备注
13 pages, 9 figures