面向可见光-红外行人重识别的多样化语义引导特征对齐与解耦
计算机视觉与模式识别
2025-05-02 v1
摘要
由于可见光图像与红外图像之间存在巨大的模态差异，可见光-红外行人重识别（VI-ReID）是一项具有挑战性的任务，这种差异使得将它们的特征对齐到合适的公共空间变得复杂。此外，光照和颜色对比度等风格噪声降低了特征的判别能力和模态不变性。为了应对这些挑战，我们提出了一种新颖的多样化语义引导特征对齐与解耦（DSFAD）网络，以将来自不同模态的身份相关特征对齐到文本嵌入空间，并解耦每个模态内的身份无关特征。具体而言，我们开发了多样化语义引导特征对齐（DSFA）模块，该模块生成具有多样句式结构的行人描述，以指导视觉特征的跨模态对齐。此外，为了过滤掉风格信息，我们提出了语义边际引导特征解耦（SMFD）模块，该模块将视觉特征分解为与行人相关的和与风格相关的成分，然后约束前者与文本嵌入之间的相似度至少比后者与文本嵌入之间的相似度高出一个边际。另外，为了防止在特征解耦过程中丢失行人语义，我们设计了语义一致性引导特征恢复（SCFR）模块，该模块进一步从与风格相关的特征中挖掘用于识别的有用信息并将其恢复到与行人相关的特征中，然后约束恢复后的特征与文本嵌入之间的相似度与解耦前的特征与文本嵌入之间的相似度保持一致。在三个 VI-ReID 数据集上的大量实验证明了我们 DSFAD 的优越性。
引用
@article{arxiv.2505.00619,
title = {Diverse Semantics-Guided Feature Alignment and Decoupling for Visible-Infrared Person Re-Identification},
author = {Neng Dong and Shuanglin Yan and Liyan Zhang and Jinhui Tang},
journal= {arXiv preprint arXiv:2505.00619},
year = {2025}
}