M2I2HA：基于类神经网络的多模态目标检测
计算机视觉与模式识别
2026-01-27 v2
摘要
近期多模态检测技术显著提升了在挑战性环境（如低光、过曝）下检测精度。通过将RGB与热力学、深度等模态集成，多模态融合增加了数据冗余度和系统鲁棒性。然而，在有效提取每个模态内以及跨模态中任务相关信息，以及实现精确的跨模态对齐方面仍面临诸多挑战。虽然CNN在特征提取方面表现优异，但其受限的感受野、强烈的归纳偏置以及难以捕获长程依赖性是限制因素。基于Transformer的模型提供全局上下文，但 suffer from 计算复杂度呈二次增长，且局限于成对关联建模。Mamba 等状态空间模型(SSMs)则因其顺序扫描机制，将二维空间结构展平为一维序列，破坏了拓扑关系，限制了对复杂高阶依赖关系的建模。为此，我们提出一种基于超图理论的多模态感知网络，命名为M2I2HA。该架构包括用于捕获每个模态内全局多对多高阶关系的类内超图增强模块，以及用于对齐、增强和融合跨模态特征的类间超图融合模块。我们进一步引入M2-FullPAD模块，以实现网络中多模态增强特征的自适应多层融合，同时增强数据在整个架构中的分布和流动。大量基于多个公开数据集的目标检测实验表明，M2I2HA在多模态目标检测任务中实现了最先进的性能。
关键词
引用
@article{arxiv.2601.14776,
title = {M2I2HA: Multi-modal Object Detection Based on Intra- and Inter-Modal Hypergraph Attention},
author = {Xiaofan Yang and Yubin Liu and Wei Pan and Guoqing Chu and Junming Zhang and Jie Zhao and Zhuoqi Man and Xuanming Cao},
journal= {arXiv preprint arXiv:2601.14776},
year = {2026}
}
备注
43 pages, 13 figures