基于异构专家协同一致性学习的弱监督可见红外人员重识别

为减少可见红外人员重识别（ReID）模型对交叉模态样本标签依赖，本文探索一种弱监督跨模态人员 ReID 方法，仅使用单模态样本的身份标签，解决跨模态身份标签不可用的场景。为缓解缺失跨模态标签对模型性能的影响，我们提出异构专家协同一致性学习框架，以建立弱监督的跨模态身份对应关系。该框架利用每个模态的标记数据独立训练专属分类专家。为关联跨模态样本，这些分类专家作为异构预测器，预测来自其他模态的样本身份。为提升预测精度，我们设计跨模态关系融合机制，有效整合来自不同专家的预测。在跨模态身份对应关系提供的隐式监督下，鼓励专家之间协作一致学习，显著提升模型提取模态不变特征的能力，增强跨模态身份识别。实验在两个具挑战性的数据集上验证了所提方法的有效性。