SEF-MAP：面向鲁棒多模态HD图预测的子空间分解专家融合
计算机视觉与模式识别
2026-02-26 v1
摘要
高清（HD）地图是自动驾驶的关键要素，但多模态融合常因摄像头与激光雷达模态间不一致，导致在低光照、遮挡或稀疏点云条件下性能下降。为此，我们提出SEFMAP，一种面向鲁棒多模态HD图预测的子空间-专家融合框架。核心思想是将BEV特征显式解耦为四个语义子空间：LiDAR专有、Image专有、共享与互动。每个子空间分配专属专家，从而保留模态特定信息，同时捕获跨模态共识。为适应性地组合专家输出，我们在BEV单元水平引入不确定性感知的门控机制，依据预测方差对不可靠专家进行加权削弱，并辅以使用平衡正则化防止专家崩溃。为提升退化条件下的鲁棒性并促进角色专化，我们进一步提出分布感知遮蔽：在训练期间，通过EMA统计代理特征模拟模态丢弃情景，辅以专化损失强制私有、共享与互动专家在完整输入与遮蔽输入下的行为差异。在nuScenes和Argoverse2基准测试中，实验表明SEFMAP实现了最先进的性能，分别在mAP上超越先前方法4.2%和4.8%。SEF-MAP为多模态HD图预测在多样化和退化条件下的鲁棒有效解决方案。
引用
@article{arxiv.2602.21589,
title = {SEF-MAP: Subspace-Decomposed Expert Fusion for Robust Multimodal HD Map Prediction},
author = {Haoxiang Fu and Lingfeng Zhang and Hao Li and Ruibing Hu and Zhengrong Li and Guanjing Liu and Zimu Tan and Long Chen and Hangjun Ye and Xiaoshuai Hao},
journal= {arXiv preprint arXiv:2602.21589},
year = {2026}
}