探索同质和异质一致标签关联用于无监督可见光-红外行人重识别
计算机视觉与模式识别
2024-12-09 v4 人工智能
摘要
无监督可见光-红外行人重识别（USL-VI-ReID）旨在无需标注的情况下从不同模态中检索同一身份的行人图像。虽然先前的工作侧重于建立跨模态伪标签关联以弥合模态差距，但它们忽略了保持特征空间和伪标签空间之间的实例级同质和异质一致性，导致关联粗糙。为此，我们引入了一个模态统一标签转移（MULT）模块，该模块同时考虑同质和异质的细粒度实例级结构，产生高质量的跨模态标签关联。它建模同质和异质亲和度，利用它们量化伪标签空间和特征空间之间的不一致性，随后最小化它。所提出的MULT确保生成的伪标签在跨模态保持对齐的同时，在模态内保持结构一致性。此外，提出了一个简单的即插即用在线跨记忆标签细化（OCLR）模块，以进一步减轻噪声伪标签的副作用，同时对齐不同模态，并结合交替模态不变表示学习（AMIRL）框架。实验表明，我们提出的方法优于现有的最先进USL-VI-ReID方法，突出了我们的MULT与其他跨模态关联方法相比的优越性。代码可在https://github.com/FranklinLingfeng/code_for_MULT获取。
引用
@article{arxiv.2402.00672,
title = {Exploring Homogeneous and Heterogeneous Consistent Label Associations for Unsupervised Visible-Infrared Person ReID},
author = {Lingfeng He and De Cheng and Nannan Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2402.00672},
year = {2024}
}
备注
Accepted by IJCV2024