MSCMNet：用于可见光-红外行人重识别的多尺度语义关联挖掘网络
机器学习
2025-04-02 v2 计算机视觉与模式识别
摘要
可见光-红外行人重识别（VI-ReID）任务的主要挑战在于如何从多模态中提取判别性特征以进行匹配。现有优秀工作主要聚焦于最小化模态差异，但模态信息无法被充分利用。为解决该问题，提出一种多尺度语义关联挖掘网络（MSCMNet），以在多尺度上全面挖掘语义特征，同时在特征提取中尽可能减小模态信息损失。所提网络包含三个新颖组件。首先，在考虑模态信息有效利用后，设计多尺度信息关联挖掘块（MIMB）以探索跨多尺度的语义关联。其次，为丰富 MIMB 可利用的语义信息，专门设计了具有非共享参数的四流特征提取器（QFE）以从数据集的不同维度提取信息。最后，进一步提出四中心三元组损失（QCT）以解决综合特征中的信息差异。在 SYSU-MM01、RegDB 和 LLCM 数据集上的大量实验表明，所提 MSCMNet 取得了最高精度。
引用
@article{arxiv.2311.14395,
title = {MSCMNet: Multi-scale Semantic Correlation Mining for Visible-Infrared Person Re-Identification},
author = {Xuecheng Hua and Ke Cheng and Hu Lu and Juanjuan Tu and Yuanquan Wang and Shitong Wang},
journal= {arXiv preprint arXiv:2311.14395},
year = {2025}
}