面向无监督可见-红外行人重识别的动态模态-相机不变聚类
计算机视觉与模式识别
2024-12-12 v1 人工智能
摘要
无监督可见-红外行人重识别（USL-VI-ReID）提供了比受监督方法更灵活且成本更低的选择。该领域因其巨大的潜力而受到日益关注的注意。现有方法仅对特定模态的样本进行聚类，并采用强关联技术以实现实例到聚类或聚类到聚类的跨模态关联。然而，这些方法忽略了跨摄像机差异，导致身份过度分割的问题，从而削弱了跨模态关联的准确性和可靠性。为此，本文提出一种名为动态模态-相机不变聚类（DMIC）的新型框架，用于USL-VI-ReID。具体而言，我们的DMIC自然地将模态-相机不变扩张（MIE）、动态邻域聚类（DNC）和混合模态对比学习（HMCL）集成到一个统一的框架中，该框架消除了聚类层面上的跨模态和跨摄像机差异。MIE融合了跨模态和跨摄像机距离编码，以在聚类层面弥合模态和摄像机之间的差距。DNC采用两种动态搜索策略来细化网络的优化目标，从改进判别力度过渡到增强跨模态和跨摄像机的可泛化性。此外，HMCL旨在优化实例级和聚类级分布。使用随机选取的样本更新用于内模态和跨模态训练的记忆库，促进模态不变表征的实时探索。大量实验表明，DMIC解决了当前聚类方法所存在的局限性，并实现了具竞争力的性能，显著缩小了与受监督方法之间的性能差距。
引用
@article{arxiv.2412.08231,
title = {Dynamic Modality-Camera Invariant Clustering for Unsupervised Visible-Infrared Person Re-identification},
author = {Yiming Yang and Weipeng Hu and Haifeng Hu},
journal= {arXiv preprint arXiv:2412.08231},
year = {2024}
}