MM-DETR：一种基于Mamba驱动的双粒度融合与频率感知模态适配器的高效多模态检测变换器
计算机视觉与模式识别
2025-12-02 v1
摘要
多模态遥感目标检测旨在通过融合不同模态的互补信息，在挑战性环境下实现更精确和更稳健的感知。然而，现有方法依赖基于注意力或可变形卷积的融合模块，难以在性能与轻量级设计之间取得平衡。此外，仅用共享背bone提取模态特征会导致表征不足，而双流架构几乎翻倍参数，限制了实际部署。为此，我们提出MM-DETR，一个轻量且高效的多模态目标检测框架。具体而言，我们提出一种基于Mamba的双粒度融合编码器，将全局交互重新表述为通道级动态门控，利用1D选择性扫描实现高效的跨模态建模，具有线性复杂度。随后，我们进一步将多模态融合重新解释为模态补全问题。引入区域感知的2D选择性扫描补全分支，以支持沿双向金字塔路径的细粒度融合，开销最小。为进一步在保持强特征提取能力的同时减少参数冗余，我们插入轻量级频率感知模态适配器于共享背bone中。该适配器采用空间-频率共专家结构捕获模态特定线索，同时像素级路由动态平衡专家贡献，实现高效的空间-频率融合。在四个多模态基准数据集上的大规模实验表明，所提方法有效且具通用性。
引用
@article{arxiv.2512.00363,
title = {MM-DETR: An Efficient Multimodal Detection Transformer with Mamba-Driven Dual-Granularity Fusion and Frequency-Aware Modality Adapters},
author = {Jianhong Han and Yupei Wang and Yuan Zhang and Liang Chen},
journal= {arXiv preprint arXiv:2512.00363},
year = {2025}
}
备注
Manuscript submitted to IEEE Transactions on Geoscience and Remote Sensing