从跨模态到混合模态的可见红外行人重识别
计算机视觉与模式识别
2025-01-24 v1
摘要
可见红外行人重识别（VI-ReID）旨在跨不同相机模态匹配个体，这是现代监控系统中的关键任务。虽然当前 VI-ReID 方法聚焦于跨模态匹配，但实际应用中往往涉及包含两种模态数据的混合画廊，其中基于最先进的方法在混合模态下表现显著受限，由于大的域间偏移和模态内匹配的低辨识度。这是因为同一模态的画廊图像之间的域差距较小，但对应不同的身份。本文引入了一种新的混合模态 ReID 设置，画廊包含两种模态的数据。为了解决模态间的域迁移以及模态内匹配的低辨识度问题，我们提出了混合模态抹除与相关（MixER）方法。MixER 学习方法通过正交分解、模态混淆和 ID-模态相关目标，将模态特定信息与模态共享身份信息解耦。MixER 增强了跨模态下的特征鲁棒性，提高了跨模态和混合模态设置下的性能。我们的广泛实验表明，该方法在单一主干网络上即可实现最先进的成绩，并展示了该方法在混合画廊应用中的灵活性。
引用
@article{arxiv.2501.13307,
title = {From Cross-Modal to Mixed-Modal Visible-Infrared Re-Identification},
author = {Mahdi Alehdaghi and Rajarshi Bhattacharya and Pourya Shamsolmoali and Rafael M. O. Cruz and Eric Granger},
journal= {arXiv preprint arXiv:2501.13307},
year = {2025}
}