基于块混合跨模态学习的可见光-红外行人重识别
计算机视觉与模式识别
2024-05-01 v2
摘要
可见光-红外行人重识别(VI-ReID)旨在从不同的模态中检索同一行人的图像，其挑战在于显著的模态差异。为缓解模态鸿沟，近期方法通过 GAN、灰度化或 mixup 策略生成中间图像。然而，这些方法可能引入额外的数据分布，且两种模态之间的语义对应关系未被很好地学习。在本文中，我们提出一种块混合跨模态框架(PMCM)，其中同一人的两幅来自两种模态的图像被切分为块并拼接为一幅新图像用于模型学习。引入部件对齐损失以正则化表示学习，并提出块混合模态学习损失以对齐模态之间。通过这种方式，模型学会通过不同风格的块来识别行人，从而可以推断模态语义对应关系。此外，凭借灵活的图像生成策略，块混合图像可自由调整不同模态块的比例，从而进一步缓解模态不平衡问题。在两个 VI-ReID 数据集上，我们凭借所提方法报告了新的 SOTA 性能。
引用
@article{arxiv.2302.08212,
title = {Visible-Infrared Person Re-Identification via Patch-Mixed Cross-Modality Learning},
author = {Zhihao Qian and Yutian Lin and Bo Du},
journal= {arXiv preprint arXiv:2302.08212},
year = {2024}
}