UniMPR：多模态地点识别的统一框架与异构传感器配置

地点识别是自动驾驶车辆和机器人中的关键组件，使其在GPS不可用的环境中实现全局定位。近期进展推动了多模态地点识别（MPR）的广泛关注，这种方法利用多个模态的互补优势。尽管具有巨大的潜力，现有大多数MPR方法仍面临三个关键挑战：（1）在统一框架内动态适应各种模态输入，（2）在模态缺失或退化时保持鲁棒性，（3）跨越多种传感器配置和设置进行泛化。在本文中，我们提出UniMPR，一个面向多模态地点识别的统一框架。仅通过训练一个模型，即可无缝适应任何常见感知模态的任意组合（如相机、LiDAR、雷达）。为解决数据异构性问题，我们将所有输入统一到极坐标BEV特征空间中。随后，将极坐标BEV输入到多分支网络中，以从任意模态组合中挖掘判别性的模型内特征和模型间特征。为充分利用网络的泛化能力和鲁棒性，我们构建了来自多个数据集的大规模训练集，并引入了用于大规模预训练的自适应标签分配策略。在七个数据集上的实验表明，UniMPR在各种传感器配置、模态组合以及环境条件下均实现了最先进的性能。我们的代码将发布于 https://github.com/QiZS-BIT/UniMPR。