用于自动驾驶鲁棒目标检测的不确定性编码多模态融合
计算机视觉与模式识别
2024-06-18 v1 人工智能
摘要
多模态融合在自动驾驶感知的目标检测中已展现出初步 promising 结果。然而，许多现有融合方案未考虑各融合输入的质量，并可能受一个或多个传感器不利条件的影响。尽管预测不确定性已被用于表征单模态目标检测在运行时的性能，但将不确定性纳入多模态融合仍缺乏有效解决方案，主要由于不确定性的跨模态不可比性以及对各类不利条件的不同敏感性。为弥补此不足，本文提出不确定性编码混合专家（UMoE），将单模态不确定性显式纳入 LiDAR-相机融合。UMoE 使用独立专家网络处理各传感器检测结果与编码后的不确定性，随后由门控网络分析专家网络输出以确定融合权重。所提 UMoE 模块可集成至任意候选框融合流程。评估显示，在极端天气、对抗性与致盲攻击场景下，UMoE 相比最先进的候选框级多模态目标检测器分别取得最高 10.67%、3.17% 与 5.40% 的性能提升。
引用
@article{arxiv.2307.16121,
title = {Uncertainty-Encoded Multi-Modal Fusion for Robust Object Detection in Autonomous Driving},
author = {Yang Lou and Qun Song and Qian Xu and Rui Tan and Jianping Wang},
journal= {arXiv preprint arXiv:2307.16121},
year = {2024}
}
备注
In proceedings of the 26th European Conference on Artificial Intelligence ECAI 2023. 8 pages + 2 appendix pages