搭建 RGB-IR 鸿沟：用于文本引导多光谱检测的共识与差异建模
计算机视觉与模式识别
2026-04-14 v1
摘要
文本引导的多光谱目标检测利用文本语义在 RGB 与 IR 之间实现语义感知的跨模态交互，以实现更稳健的感知。然而，仍存在显著局限性：(1) 现有方法常仅将文本用作辅助语义增强信号，未能利用其作为桥梁来连接 RGB 与 IR 之间固有的粒度不对称；(2) 传统的数据驱动注意力融合倾向于强调稳定的共识，忽视潜在有价值的跨模态差异。为解决上述问题，我们提出了一种用于多光谱目标检测的语义桥接融合框架，采用双支撑建模。具体而言，将文本用作统一类别条件下的共享语义桥梁，对齐 RGB 与 IR 的响应；同时，将 recalibrated 热力学语义先验投影到 RGB 分支进行语义级别的映射融合。我们进一步将 RGB-IR 交互证据形式化为常规共识支撑和互补差异支撑，其中包含潜在的判别性线索，并通过动态 recalibration 引入融合，作为结构化归纳偏置。此外，我们设计了一个双向语义对齐模块，用于闭环视觉-文本指导增强。广泛的实验表明，所提出的融合框架有效且在多光谱基准测试中表现出优越的检测性能。代码已发布于 https://github.com/zhenwang5372/Bridging-RGB-IR-Gap。
引用
@article{arxiv.2604.11234,
title = {Bridging the RGB-IR Gap: Consensus and Discrepancy Modeling for Text-Guided Multispectral Detection},
author = {Jiaqi Wu and Zhen Wang and Enhao Huang and Kangqing Shen and Yulin Wang and Yang Yue and Yifan Pu and Gao Huang},
journal= {arXiv preprint arXiv:2604.11234},
year = {2026}
}
备注
17 pages ,Under review