$\mathbf{C}^2$Former:用于RGB-红外目标检测的校准与互补Transformer

可见光(RGB)与红外(IR)图像上的目标检测,作为促进全天候应用鲁棒检测的新兴方案,近年来受到广泛关注。借助IR图像,目标检测器通过利用RGB-IR融合信息在实际应用中变得更加可靠和鲁棒。然而,现有方法仍受模态误校准与融合不精确问题困扰。由于transformer具有建模不同特征间成对相关性的强大能力,本文提出一种称为$\mathrm{C}^2$Former的新型校准与互补Transformer,以同时解决这两个问题。在$\mathrm{C}^2$Former中,我们设计模态间交叉注意力(ICA)模块,通过学习RGB与IR模态间的交叉注意力关系来获得校准且互补的特征。为降低ICA中计算全局注意力带来的计算成本,引入自适应特征采样(AFS)模块来降低特征图维度。由于$\mathrm{C}^2$Former在特征域中执行,它可通过骨干网络嵌入已有的RGB-IR目标检测器中。因此,我们构建了一个单阶段和一个两阶段均集成$\mathrm{C}^2$Former的目标检测器以评估其有效性与通用性。在DroneVehicle和KAIST RGB-IR数据集上的大量实验验证了我们的方法能充分利用RGB-IR互补信息并实现鲁棒检测结果。代码见https://github.com/yuanmaoxun/Calibrated-and-Complementary-Transformer-for-RGB-Infrared-Object-Detection.git。