面向 RGB-红外行人重识别的自监督模态感知多粒度预训练

RGB-红外行人重识别（RGB-IR ReID）旨在跨不相交的 RGB 与 IR 摄像头视角关联行人。当前，RGB-IR ReID 的最优性能不如常规 ReID 令人瞩目。这在很大程度上归因于单模态 ImageNet 预训练带来的 notorious 模态偏置训练问题，其可能产生严重阻碍跨模态图像检索的 RGB 偏置表征。本文首次尝试从预训练角度解决该任务。我们提出一种自监督预训练方案，称为模态感知多粒度学习（MMGL），其仅在多模态 ReID 数据集上从零训练模型，却能在不使用任何外部数据或复杂调参技巧的情况下取得与 ImageNet 预训练相竞争的结果。首先，我们设计了一个简单而有效的“排列恢复”前置任务，将打乱的 RGB-IR 图像全局映射到共享潜在排列空间，为下游 ReID 任务提供模态不变的全局表征。其次，我们提出部件感知循环对比（PCC）学习策略，利用跨模态循环一致性最大化语义相似 RGB-IR 图像块之间的一致性。这使得无配对多模态场景下的对比学习成为可能，无需繁重的实例增广即可进一步提升局部特征判别力。基于这些设计，MMGL 有效缓解了模态偏置训练问题。大量实验表明，与 ImageNet 预训练相比，它学习了更好的表征（Rank-1 准确率提升 8.03%），训练速度更快（仅数小时收敛），数据效率更高（<5% 数据规模）。结果还表明其对各类现有模型、损失函数泛化良好，并具备跨数据集的可迁移性。代码将公开。