4DRVO-Net：基于多模态多尺度自适应融合的深度 4D 雷达-视觉里程计

四维（4D）雷达–视觉里程计（4DRVO）集成了来自 4D 雷达和相机的互补信息，使其成为实现精确且鲁棒位姿估计的一种有吸引力的方案。然而，4DRVO 可能由于三个主要因素而表现出显著的跟踪误差：1）4D 雷达点云的稀疏性；2）4D 雷达与相机之间不准确的数据关联和不充分的特征交互；以及 3）环境中动态物体引起的干扰，影响里程计估计。在本文中，我们提出 4DRVO-Net，这是一种用于 4D 雷达–视觉里程计的方法。该方法利用特征金字塔、位姿扭曲和代价体（PWC）网络架构来逐步估计并细化位姿。具体而言，我们提出了一种称为 Radar-PointNet++ 的多尺度特征提取网络，其充分考虑了丰富的 4D 雷达点信息，实现对稀疏 4D 雷达点云的细粒度学习。为有效融合两种模态，我们设计了一种自适应 4D 雷达–相机融合模块（A-RCFM），其基于 4D 雷达点特征自动选择图像特征，促进多尺度跨模态特征交互与自适应多模态特征融合。此外，我们引入了一种速度引导的点置信度估计模块，以度量局部运动模式，减少动态物体与离群点的影响，并在位姿细化过程中提供连续更新。我们在 VoD 和内部数据集上展示了我们方法的优异性能以及各模块设计的有效性。我们的方法在 VoD 数据集的大多数序列上优于所有基于学习和基于几何的方法。此外，其展现出接近 A-LOAM 的 64 线 LiDAR 里程计结果（无建图优化）的有前景性能。