HiddenObject: 多模态隐式目标检测的模态无关性融合

在多模态环境中检测隐藏或部分遮挡的目标仍然是一个基本挑战，其中包括遮挡、伪装和光照变化等因素会显著影响性能。传统的基于 RGB 的检测方法在面对此类恶劣条件时往往难以胜任，动机需要更稳健、模态无关的方法。本文提出了HiddenObject，一种集成 RGB、热成像和深度数据的融合框架，利用基于 Mamba 的融合机制实现数据融合。该方法捕获跨模态的互补信号，从而增强对被遮挡或伪装目标的检测能力。具体而言，所提出的方法识别特定模态的特征并在统一表示中进行融合，能够在具有挑战性情景中获得良好泛化。我们在多个基准数据集上验证了HiddenObject，显示出与现有方法相比的领先或竞争性能。这些结果凸显了我们融合设计的有效性，揭示了当前单模态和简单融合策略的关键局限性。更广泛地说，我们的发现表明，Mamba 基于的融合架构在面对视觉降解或复杂条件时对多模态目标检测具有显著优势。