面向无监督可见-红外行人重识别的扩展交叉模态统一学习
计算机视觉与模式识别
2024-12-30 v1 机器学习
图像与视频处理
摘要
无监督可见-红外行人重识别(USL-VI-ReID)旨在从无标记的跨模态数据集中学习模态不变特征并缩小跨模态间隙。然而，现有方法缺乏跨模态聚类或过度追求聚类层面的关联，导致难以进行可靠的模态不变特征学习。为此，本文提出了 Extended Cross-Modality United Learning(ECUL)框架，包含 Extended Modality-Camera Clustering(EMCC)和 Two-Step Memory Updating Strategy(TSMem)模块。具体而言，我们设计的 ECUL 自然集成了类内模态聚类、类间模态聚类和类间模态实例选择，构建紧凑且准确的跨模态关联，同时减少噪声标签的引入。此外，EMCC 通过扩展编码向量来捕捉并过滤邻域关系，从而进一步促进基于聚类算法的模态不变和摄像机不变知识学习。最后，TSMem 通过分阶段更新记忆，为对比学习提供准确且通用的代理点。在 SYSU-MM01 和 RegDB 数据集上的大量实验结果表明，所提出的 ECUL 方法性能优异，甚至超过了某些监督方法。
关键词
引用
@article{arxiv.2412.19134,
title = {Extended Cross-Modality United Learning for Unsupervised Visible-Infrared Person Re-identification},
author = {Ruixing Wu and Yiming Yang and Jiakai He and Haifeng Hu},
journal= {arXiv preprint arXiv:2412.19134},
year = {2024}
}