基于模态转换表征学习的可见-红外行人重识别
计算机视觉与模式识别
2025-11-05 v1
摘要
可见-红外行人重识别（VI-ReID）技术可在背景光照变化的实际场景中将行人图像在可见和红外两个模态之间关联。然而，这两个模态之间存在显著的差距。此外，现有方法主要依赖中间表征来对齐同一人的跨模态特征。中间特征表征通常通过生成中间图像（一种数据增强）或融合中间特征（更多参数、缺乏可解释性）来创建，它们没有很好地利用中间特征。因此，我们提出了一种新颖的 VI-ReID 框架，通过模态转换表征学习（MTRL），其中包含一种从可见模态到红外模态的中间生成图像作为信使，这些图像与原始可见图像完全对齐且类似于红外模态。随后，我们使用模态转换对比损失和模态查询正则化损失进行训练，从而更有效地对齐跨模态特征。值得注意的是，我们提出的框架不需要任何额外参数，在保持推理速度与基座相同的情况下提高了 VI-ReID 任务的性能。大量实验结果表明，我们的模型在三个典型 VI-ReID 数据集上显著且持续地超越了现有的 SOTA 方法。
关键词
引用
@article{arxiv.2511.02685,
title = {Modality-Transition Representation Learning for Visible-Infrared Person Re-Identification},
author = {Chao Yuan and Zanwu Liu and Guiwei Zhang and Haoxuan Xu and Yujian Zhao and Guanglin Niu and Bo Li},
journal= {arXiv preprint arXiv:2511.02685},
year = {2025}
}