ModalPatch：面向任意模态丢失场景下稳健多模态3D目标检测的即插即用模块
计算机视觉与模式识别
2026-03-04 v1
摘要
多模态3D目标检测是自动驾驶的关键技术，集成激光雷达和摄像头等互补传感器。然而，由于硬件故障、恶劣天气或遮挡导致的暂时性数据中断和缺失，构成了该技术在实际场景中的可靠性挑战，尤其是当多个模态同时丢失时，车辆将处于暂时失明的风险。为此，我们引入ModalPatch——首个面向任意模态丢失场景下稳健检测的即插即用模块。无需架构修改或重新训练，ModalPatch可无缝集成到多种检测框架中。技术上，ModalPatch利用传感器数据的时序特性实现感知连续性，采用基于历史的模块预测并补偿暂时不可用的数据。为提升预测特征的保真度，我们进一步引入不确定性引导的跨模态融合策略，动态估计补偿特征的可靠性，抑制偏差信号同时强化有价值的信号。大量实验表明，ModalPatch在多样化的模态丢失条件下，均能稳健提升领先3D目标检测器的鲁棒性和准确性。
引用
@article{arxiv.2603.02481,
title = {ModalPatch: A Plug-and-Play Module for Robust Multi-Modal 3D Object Detection under Modality Drop},
author = {Shuangzhi Li and Lei Ma and Xingyu Li},
journal= {arXiv preprint arXiv:2603.02481},
year = {2026}
}