面向无监督 VI-ReID 的语义对齐学习与协同精炼

无监督可见红外行人重识别(USL-VI-ReID)寻求在不使用人工标注的情况下匹配同一人员的不同模态下的行人图像。以前的方法通过标签关联算法统一跨模态图像的伪标签，然后设计对抗学习框架进行全局特征学习。然而，这些方法忽略了由细粒度模式带来的特征表示和伪标签分布的跨模态差异。这一洞察导致仅优化全局特征时跨模态共享学习不足。为此，我们提出一种语义对齐学习与协同精炼(SALCR)框架，构建针对每个模态强调的特定细粒度模式的优化目标，从而实现不同模态标签分布之间的互补对齐。具体而言，我们首先引入双向全局学习(DAGI)模块以双向方式统一跨模态实例的伪标签。随后，进行细粒度语义对齐学习(FGSAL)模块，以探索跨模态实例中由每个模态强调的部分级别语义对齐模式。最后，基于语义对齐特征及其相应标签空间构建优化目标。为缓解因伪标签噪声引起的副作用，我们提出全局-部分协同精炼(GPCR)模块，以动态挖掘全局和部分特征可靠的正样本集，并优化实例之间的关系。大量实验表明，我们的方法有效，优于现有的SOTA方法。我们的代码可在\href{https://github.com/FranklinLingfeng/code-for-SALCR}获取。