面向可见光-红外行人重识别的同质模态学习与时序多粒度信息探索
计算机视觉与模式识别
2023-07-26 v1 人工智能
摘要
可见光-红外行人重识别(VI-ReID)是一项具有挑战性且至关重要的任务，旨在跨可见光与红外相机视角检索一组行人图像。为减轻异构图像中存在的巨大模态差异的影响，先前方法尝试应用生成对抗网络(GAN)生成模态一致的数据。然而，由于可见光域与红外域之间严重的颜色差异，生成的虚假跨模态样本往往无法具备良好质量以填补合成场景与目标真实场景之间的模态鸿沟，从而导致次优的特征表示。在本工作中，我们通过对齐灰度模态(AGM)解决跨模态匹配问题，AGM是一种统一的暗线谱，将可见光-红外双模学习重构为灰-灰单模学习问题。具体而言，我们从同质可见光图像生成灰度模态。然后，我们训练一个风格迁移模型将红外图像转换为同质灰度图像。以此方式，图像空间中的模态差异被显著减小。为减小剩余的外观差异，我们进一步引入多粒度特征提取网络进行特征级对齐。我们提出利用局部(头肩)特征辅助行人重识别，而非依赖全局信息，二者互补形成更强的特征描述子。在包含SYSU-MM01和RegDB的主流评估数据集上进行的综合实验表明，我们的方法相比当前最优(state of the art)方法能显著提升跨模态检索性能。
引用
@article{arxiv.2204.04842,
title = {Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification},
author = {Haojie Liu and Daoxun Xia and Wei Jiang and Chao Xu},
journal= {arXiv preprint arXiv:2204.04842},
year = {2023}
}
备注
15 pages, 9figures