用于无监督可见光-红外行人重识别的高效双边跨模态簇匹配

无监督可见光-红外行人重识别（USL-VI-ReID）旨在无标注情况下匹配来自不同模态的同一身份行人图像。现有工作主要通过对齐无标签样本的实例级特征来缓解模态鸿沟，但跨模态簇之间的关系未被充分探索。为此，我们提出一种新颖的基于双边簇匹配的学习框架，通过匹配跨模态簇来缩小模态鸿沟。具体而言，我们通过优化二部图中的最大匹配问题，设计了一种多对多双边跨模态簇匹配（MBCCM）算法。随后，匹配的成对簇在模型训练期间利用共享的可见光与红外伪标签。在此监督信号下，提出一种模态特定与模态无关（MSMA）对比学习框架，在簇级别联合对齐特征。同时，提出跨模态一致性约束（CC）以显式减小较大的模态差异。在公开 SYSU-MM01 与 RegDB 数据集上的大量实验证明了所提方法的有效性，以平均 8.76% mAP 的显著优势超越最先进方法。