基于邻居引导标签精炼协同学习的无监督可见光-红外行人重识别

无监督可见光-红外行人重识别（USL-VI-ReID）旨在从带标签的跨模态数据集中学习模态不变特征，这对视频监控系统的实际应用至关重要。从根本上解决USL-VI-ReID任务的关键在于解决跨模态数据关联问题以进行进一步的异质联合学习。为解决该问题，我们提出双重最优传输标签分配（DOTLA）框架，以同时将一模态生成的标签分配给其对应模态。所提DOTLA机制给出了跨模态数据关联的相互增强且高效的解决方案，可有效减少不充分与含噪标签关联的副作用。此外，我们进一步提出跨模态邻居一致性引导的标签精炼与正则化模块，在每个样本的预测或标签分布应与其最近邻相似这一假设下，消除不准确监督信号带来的负面影响。在公开SYSU-MM01与RegDB数据集上的大量实验结果证明了所提方法的有效性，以平均7.76% mAP的大幅优势超越现有最先进方法，甚至超越部分有监督VI-ReID方法。