基于 CLIP 的相机无关特征学习用于相机内人再识别
计算机视觉与模式识别
2024-10-01 v1 人工智能
摘要
对比语言-图像预训练（CLIP）模型因其在生成行人图像文本描述方面的内在优势，在传统的人再识别（ReID）任务中表现突出。然而，将 CLIP 直接应用于相机内人再识别（ICS ReID）存在挑战。ICS ReID 需要在每个相机内独立标注身份信息，且不允许跨相机关联。这限制了基于文本的增强效果。为此，我们提出一种新型框架，称为 CLIP 基于相机无关特征学习（CCAFL），用于 ICS ReID。为引导模型主动学习相机无关的行人特征，我们设计了两个自定义模块：相机内判别学习（ICDL）和相机间对抗学习（ICAL）。具体而言，我们首先为相机内的行人图像建立可学习的文本提示，以获取后续相机内外学习所需的关键语义监督信号。然后，我们设计 ICDL 通过考虑每个相机内的硬正样本和硬负样本，以增加类别间变异性，从而学习相机内更细粒度的行人特征。此外，我们提出 ICAL 通过对模型预测行人图像来源相机的能力进行惩罚，以减少相机间的行人特征差异，从而增强模型识别来自不同视角的行人的能力。广泛的实验结果表明，我们方法的有效性。尤其，在具有挑战性的 MSMT17 数据集上，我们实现了 58.9% 的 mAP准确率，超越了最先进的方法 7.6%。代码将在：https://github.com/Trangle12/CCAFL 提供。
引用
@article{arxiv.2409.19563,
title = {CLIP-based Camera-Agnostic Feature Learning for Intra-camera Person Re-Identification},
author = {Xuan Tan and Xun Gong and Yang Xiang},
journal= {arXiv preprint arXiv:2409.19563},
year = {2024}
}
备注
Submitted to IEEE TCSVT