面向 RGB-NIR 跨模态图像配准及其扩展

本文聚焦于 RGB(可见光)-NIR(近红外) 跨模态图像配准领域，这对于充分利用可见光和红外图像中互补信息的下游视觉任务至关重要。在该领域，研究人员面临两个主要挑战——缺乏带有视角变化的正确标注基准数据集用于评估 RGB-NIR 跨模态配准方法，以及由 RGB-NIR 跨模态图像 appearance 差异导致的局部特征不一致问题。为此，我们首先提出了 RGB-NIR 图像配准 (RGB-NIR-IRegis) 基准，首次实现对 RGB-NIR 跨模态图像配准任务的公平且全面的评估。对先前方法的评估表明，尤其是在具有视角变化的 RGB-NIR 图像对上，RGB-NIR-IRegis 基准提出了显著的挑战。为分析不令人满意性能的原因，我们随后设计了若干指标来揭示可见光和红外图像之间局部不一致特征对模型性能产生的有害影响。这进一步激励我们开发了名为 Semantic Guidance Transformer (SGFormer) 的基线方法，该方法利用高层次语义指导来缓解局部不一致特征的负面影响。尽管我们的动机相对简单，我们的实验结果表明该方法效果显著。