面向可见光-红外行人重识别的频域细微差异挖掘
计算机视觉与模式识别
2024-01-11 v2
摘要
可见光-红外行人重识别(VIReID)的关键在于如何最小化可见光图像与红外图像之间的模态差异。现有方法主要利用空间信息而忽略了具有判别性的频率信息。为解决这一问题，本文旨在从频域视角减小模态差异。具体而言，我们提出了一种新颖的频域细微差异挖掘(FDNM)方法来探索跨模态频域信息，该方法主要包括一个幅度引导相位(AGP)模块和一个幅度细微差异挖掘(ANM)模块。这两个模块相互促进，共同探索频域中的可见光-红外细微差异，从而有效减小频域中的模态差异。此外，我们提出了一种中心引导的细微差异挖掘损失，以鼓励 ANM 模块在发现多样化跨模态细微差异的同时保留判别性的身份信息。大量实验表明，所提出的 FDNM 在提升 VIReID 性能方面具有显著优势。具体而言，在 SYSU-MM01 数据集的室内搜索模式下，我们的方法在 Rank-1 准确率和 mAP 上分别比次优方法高出 5.2% 和 5.8%。此外，我们还在具有挑战性的可见光-红外人脸识别任务上验证了该方法的有效性和泛化能力。\textcolor{magenta}{代码将公开发布。}
关键词
引用
@article{arxiv.2401.02162,
title = {Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification},
author = {Yukang Zhang and Yang Lu and Yan Yan and Hanzi Wang and Xuelong Li},
journal= {arXiv preprint arXiv:2401.02162},
year = {2024}
}