用于无监督可见光-红外行人重识别的多记忆匹配
计算机视觉与模式识别
2024-07-30 v2
摘要
无监督可见光-红外行人重识别（USL-VI-ReID）是一项有前景但极具挑战性的检索任务。USL-VI-ReID的关键挑战在于，如何在没有任何先验标注的情况下，有效生成伪标签并建立跨模态的伪标签对应关系。近期，聚类伪标签方法在USL-VI-ReID中获得了更多关注。然而，以往的方法未能充分利用个体细微差别，因为它们仅使用代表一个身份的单一记忆来建立跨模态对应关系，导致跨模态对应关系模糊不清。为解决此问题，我们提出了一种用于USL-VI-ReID的多记忆匹配（MMM）框架。我们首先设计了一个跨模态聚类（CMC）模块，通过将两种模态样本一起聚类来生成伪标签。为了关联跨模态聚类伪标签，我们设计了一个多记忆学习与匹配（MMLM）模块，确保优化过程明确关注个体视角的细微差别，并建立可靠的跨模态对应关系。最后，我们设计了一个软聚类级对齐（SCA）模块，通过一种软性多对多对齐策略来缩小模态差距，同时减轻噪声伪标签的影响。在公开的SYSU-MM01和RegDB数据集上的大量实验证明了所建立的跨模态对应关系的可靠性以及我们MMM框架的有效性。源代码将予以发布。
引用
@article{arxiv.2401.06825,
title = {Multi-Memory Matching for Unsupervised Visible-Infrared Person Re-Identification},
author = {Jiangming Shi and Xiangbo Yin and Yeyun Chen and Yachao Zhang and Zhizhong Zhang and Yuan Xie and Yanyun Qu},
journal= {arXiv preprint arXiv:2401.06825},
year = {2024}
}
备注
Accepted by ECCV2024