面向可见光-红外行人重识别的多样嵌入扩展网络与低光照跨模态基准
计算机视觉与模式识别
2023-03-28 v1
摘要
对于可见光-红外行人重识别（VIReID）任务，主要挑战之一是可见光（VIS）与红外（IR）图像间的模态差异。然而，训练样本通常有限，而模态差异过大，导致现有方法无法有效挖掘多样的跨模态线索。为应对此局限，我们提出一种嵌入空间中的新型增强网络，称为多样嵌入扩展网络（DEEN）。所提DEEN能有效生成多样嵌入以学习信息丰富的特征表示，并减小VIS与IR图像间的模态差异。此外，VIReID模型可能受剧烈光照变化严重影响，而所有现有VIReID数据集均在光照充足且无显著光线变化下采集。因此，我们提供了一个低光照跨模态（LLCM）数据集，包含由9个RGB/IR相机采集的1,064个身份的46,767个边界框。在SYSU-MM01、RegDB和LLCM数据集上的大量实验显示了所提DEEN优于多种其他先进方法的性能。代码与数据集发布于：https://github.com/ZYK100/LLCM
引用
@article{arxiv.2303.14481,
title = {Diverse Embedding Expansion Network and Low-Light Cross-Modality Benchmark for Visible-Infrared Person Re-identification},
author = {Yukang Zhang and Hanzi Wang},
journal= {arXiv preprint arXiv:2303.14481},
year = {2023}
}
备注
Accepted by CVPR 2023