CMRNext: 野外相机与激光雷达匹配用于定位与外参标定

激光雷达广泛用于动态环境中的建图与定位。然而，其高昂的成本限制了其广泛应用。另一方面，使用廉价相机在激光雷达地图中进行单目定位是一种适用于大规模部署的经济高效替代方案。然而，大多数现有方法难以泛化到新的传感器配置和环境，需要重新训练或微调。在本文中，我们提出了 CMRNext，这是一种新颖的相机-激光雷达匹配方法，它独立于传感器特定参数，具有泛化能力，并且可在野外用于激光雷达地图中的单目定位以及相机-激光雷达外参标定。CMRNext 利用了深度神经网络在跨模态数据匹配方面的最新进展以及用于鲁棒位姿估计的标准几何技术。我们将点-像素匹配问题重新表述为光流估计问题，并基于得到的对应关系求解透视-n-点问题，以找到相机与激光雷达点云之间的相对位姿。我们在六个不同的机器人平台上对 CMRNext 进行了广泛评估，包括三个公开数据集和三个自研机器人。我们的实验评估表明，CMRNext 在这两项任务上均优于现有方法，并能以零样本的方式有效泛化到之前未见过的环境和传感器配置。我们在 http://cmrnext.cs.uni-freiburg.de 上公开了代码和预训练模型。