图像生成如何助力可见光至红外行人重识别？
计算机视觉与模式识别
2022-10-26 v2
摘要
与可见光至可见光(V2V)行人重识别(ReID)相比，可见光至红外(V2I)行人ReID任务由于训练样本不足以及较大的跨模态差异而更具挑战性。为此，我们提出Flow2Flow，一个统一的框架，能够联合实现V2I行人ReID的训练样本扩充与跨模态图像生成。具体而言，Flow2Flow分别通过可逆的可见光基于流的生成器和红外基于流的生成器，学习从可见光图像域和红外域到共享各向同性高斯域的双射变换。借助Flow2Flow，我们能够通过从潜空间高斯噪声到可见光或红外图像的变换生成伪训练样本，并通过从已有模态图像到潜空间高斯噪声再到缺失模态图像的变换生成跨模态图像。为实现生成图像的身份对齐与模态对齐，我们设计了对抗训练策略来训练Flow2Flow。具体而言，我们为每个模态设计一个图像编码器和一个模态判别器。图像编码器通过身份对抗训练促使生成图像与相同身份的真实图像相似，模态判别器通过模态对抗训练使生成图像在模态上与真实图像不可区分。在SYSU-MM01和RegDB上的实验结果表明，训练样本扩充与跨模态图像生成均能显著提升V2I ReID准确率。
引用
@article{arxiv.2210.01585,
title = {How Image Generation Helps Visible-to-Infrared Person Re-Identification?},
author = {Honghu Pan and Yongyong Chen and Yunqi He and Xin Li and Zhenyu He},
journal= {arXiv preprint arXiv:2210.01585},
year = {2022}
}
备注
Submitted to IEEE Transactions on Image Processing