ICPL-ReID：基于身份条件文本提示学习的多光谱目标重识别
计算机视觉与模式识别
2025-05-26 v1
摘要
多光谱目标重识别(ReID)为智能城市和智能交通应用提供了新的感知视角，有效解决了复杂照明和恶劣天气带来的挑战。然而，异构光谱之间的复杂模态差异构成了高效利用光谱信息互补性和差异性的挑战。大多数现有方法通过复杂的模态交互模块融合光谱数据，缺乏对光谱信息的细粒度语义理解(例如，文本描述、部件掩码和对象关键点)。为解决这一挑战，我们提出了一种新颖的身份条件文本提示学习框架(ICPL)，该框架利用CLIP的强大跨模态对齐能力，将不同光谱的视觉特征统一到文本语义中。具体而言，我们首先提出了一种基于可学习文本提示的在线提示学习，作为身份级别的语义中心，在线方式桥接不同光谱的身份语义。随后，由于缺乏具体的文本描述，我们提出了多光谱身份条件模块，使用身份原型作为光谱身份条件来约束提示学习。同时，我们构建了一个对齐循环，同时优化可学习的文本提示和光谱视觉编码器，以避免在线提示学习破坏预训练的文本-图像对齐分布。此外，为了适应小规模多光谱数据并减轻光谱之间的风格差异，我们提出了多光谱适配器，该适配器采用低秩适应方法来学习光谱特定的特征。全面实验表明，在包括RGBNT201、Market-MM、MSVR310、RGBN300和RGBNT100在内的5个基准数据集上，我们的方法在性能上超过了当前最先进的方法。
引用
@article{arxiv.2505.17821,
title = {ICPL-ReID: Identity-Conditional Prompt Learning for Multi-Spectral Object Re-Identification},
author = {Shihao Li and Chenglong Li and Aihua Zheng and Jin Tang and Bin Luo},
journal= {arXiv preprint arXiv:2505.17821},
year = {2025}
}
备注
Accepted by IEEE Transactions on Multimedia (TMM)