基于4D雷达和LiDAR点云的RaLiFlow场景流估计

最近的多模态融合方法，将图像与LiDAR点云集成，已在场景流估计方面显示出前景。然而，4D毫米波雷达和LiDAR的融合尚未得到探索。与LiDAR不同，雷达更便宜、在各种天气条件下更稳健，并且可以检测点态速度，使其成为LiDAR的有价值的补充。然而，雷达输入面临噪声、低分辨率和稀疏性等挑战。此外，目前尚无针对场景流估计的雷达和LiDAR数据集。为此，我们构建了一个基于公共真实汽车数据集的雷达- LiDAR场景流数据集。我们提出了雷达去噪和场景流标签生成的有效预处理策略，推导出来自物体边界之外的雷达点更可靠的流ground truth。此外，我们引入RaLiFlow，即首个针对4D雷达和LiDAR的联合场景流学习框架，通过新颖的Dynamic-aware Bidirectional Cross-modal Fusion（DBCF）模块和精心设计的损失函数实现有效的雷达- LiDAR融合。DBCF模块将雷达的动态线索整合到局部交叉注意力机制中，使上下文信息能够跨模态传播。与此同时，提出的损失函数缓解了训练期间不可靠雷达数据的不利影响，并增强了来自两个模态的场景流预测在实例级别上的一致性，特别是针对动态前景区域。对重构的场景流数据集上的大量实验表明，我们的方法在现有基于LiDAR的单模态方法和基于雷达的单模态方法方面均显著优于它们。