基于查询融合的模态解耦 RGB-Thermal 目标检测器
计算机视觉与模式识别
2026-01-14 v1
摘要
RGB-Thermal (RGB-T) 检测的优势在于其能够进行模态融合并整合跨模态互补信息，从而在各种光照和天气条件下实现稳健的检测。然而，在某一模态质量较差并干扰检测的极端条件下，有必要进行模态分离以减轻噪声影响。为解决这一问题，我们提出了一种基于查询融合的模态解耦 RGB-T 检测框架 (MDQF)，以平衡模态互补与分离。在该框架中，采用类 DETR 检测器作为 RGB 和 TIR 图像的独立分支，并在每次细化阶段将查询融合穿插于两个分支之间。在此，查询融合是通过在一个分支进行查询选择和适应后，将其高质量查询馈送到另一个分支来执行的。这种设计有效地排除了退化的模态，并利用高质量查询修正预测。此外，解耦框架允许我们使用未配对的 RGB 或 TIR 图像优化每个独立分支，从而无需配对的 RGB-T 数据。大量实验表明，我们的方法优于现有的 RGB-T 检测器，并实现了更好的模态独立性。
引用
@article{arxiv.2601.08458,
title = {Modality-Decoupled RGB-Thermal Object Detector via Query Fusion},
author = {Chao Tian and Zikun Zhou and Chao Yang and Guoqing Zhu and Fu'an Zhong and Zhenyu He},
journal= {arXiv preprint arXiv:2601.08458},
year = {2026}
}