面向可见光-红外行人重识别的频域模态不变特征学习
计算机视觉与模式识别
2024-01-05 v2
摘要
可见光-红外行人重识别（VI-ReID）因可见光与红外图像之间存在显著的跨模态差异而极具挑战性。现有方法侧重于设计复杂的网络架构或使用度量学习约束来学习模态不变特征，但往往忽略了图像中究竟是哪个特定成分导致了模态差异问题。本文首次揭示了可见光与红外图像幅度成分的差异是造成模态差异的主要因素，并进一步提出了一种新颖的频域模态不变特征学习框架（FDMNet），从频域角度减少模态差异。该框架引入了两个新颖模块，即实例自适应幅度滤波（IAF）模块和相位保持归一化（PPNorm）模块，分别在图像级和特征级增强模态不变的幅度成分并抑制模态特异性成分。在SYSU-MM01和RegDB两个标准基准上的大量实验结果表明，我们的FDMNet性能优于当前最先进的方法。
引用
@article{arxiv.2401.01839,
title = {Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification},
author = {Yulin Li and Tianzhu Zhang and Yongdong Zhang},
journal= {arXiv preprint arXiv:2401.01839},
year = {2024}
}
备注
Under review