面向 RGB-红外行人重识别的跨模态配对图像生成
计算机视觉与模式识别
2020-02-19 v2
摘要
由于 RGB 与红外（IR）图像之间存在巨大的跨模态差异，RGB-红外行人重识别极具挑战性。关键解决方案是学习对齐特征以桥接 RGB 和 IR 模态。然而，由于每对 RGB 和 IR 图像之间缺乏对应标签，大多数方法试图通过集合级对齐来缩小整个 RGB 和 IR 集合之间的距离，从而缓解差异。但这种集合级对齐可能导致某些实例的错配，限制了 RGB-IR 重识别的性能。与现有方法不同，本文提出生成跨模态配对图像，并执行全局集合级和细粒度实例级对齐。我们提出的方法具有若干优点。首先，我们的方法可以通过解耦模态特定和模态不变特征来实现集合级对齐。相比传统方法，我们的方法能显式去除模态特定特征，从而更好地减小模态差异。其次，给定一个人的跨模态非配对图像，我们的方法可以从交换图像生成跨模态配对图像。利用这些图像，我们可以通过最小化每对图像的距离直接进行实例级对齐。在两个标准基准上的大量实验结果表明，所提模型优于当前最优（SOTA）方法。特别是在 SYSU-MM01 数据集上，我们的模型在 Rank-1 和 mAP 上分别实现了 9.2% 和 7.7% 的提升。代码见 https://github.com/wangguanan/JSIA-ReID。
引用
@article{arxiv.2002.04114,
title = {Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification},
author = {Guan-An Wang and Tianzhu Zhang. Yang Yang and Jian Cheng and Jianlong Chang and Xu Liang and Zengguang Hou},
journal= {arXiv preprint arXiv:2002.04114},
year = {2020}
}
备注
accepted by AAAI'20