通过多模态专家融合应对恶劣传感器故障的鲁棒传感器融合
计算机视觉与模式识别
2025-04-01 v2
摘要
现代自动驾驶感知系统利用互补的多模态传感器，如 LiDAR 和相机。尽管传感器融合架构在充满挑战的环境中提升了性能，但在严重的传感器故障下，如 LiDAR 光束减少、LiDAR 丢失、有限视场、相机丢失和遮挡，它们仍会出现显著的性能下降。这一限制源于当前传感器融合框架中的模态间依赖性。在本研究中，我们引入了一种高效且鲁棒的 LiDAR-相机 3D 物体检测器，称为 MoME，它可以通过 mixture of experts 方法实现鲁棒性能。我们的 MoME 使用三个并行专家解码器完全解耦模态依赖性，这些解码器分别使用相机特征、LiDAR 特征或两者的组合来解码物体查询。我们提出了多专家解码（MED）框架，其中每个查询使用三个专家解码器之一进行选择性解码。MoME 利用自适应查询路由器（AQR）根据相机和 LiDAR 特征的质量为每个查询选择最合适的专家解码器。这确保了每个查询由最适合的专家处理，从而在多种传感器故障场景中实现鲁棒性能。我们在 nuScenes-R 基准上评估了 MoME 的性能。我们的 MoME 在极端天气和传感器故障条件下取得了 state-of-the-art 性能，在各种传感器故障场景中显著优于现有模型。
引用
@article{arxiv.2503.19776,
title = {Resilient Sensor Fusion under Adverse Sensor Failures via Multi-Modal Expert Fusion},
author = {Konyul Park and Yecheol Kim and Daehun Kim and Jun Won Choi},
journal= {arXiv preprint arXiv:2503.19776},
year = {2025}
}
备注
Accepted to CVPR 2025