一种高效的可见光-红外跨模态行人重识别框架
计算机视觉与模式识别
2020-08-04 v2
摘要
可见光-红外跨模态行人重识别（VI-ReId）是光照不足或黑暗环境中视频监控的一项关键任务。尽管近期有许多关于可见光域行人重识别（ReId）的研究，但专门处理VI-ReId的研究很少。除了ReId和VI-ReId共同的挑战（如姿态/光照变化、背景杂波和遮挡）外，VI-ReId还面临额外挑战，因为红外图像中不存在颜色信息。因此，VI-ReId系统的性能通常低于ReId系统。在本工作中，我们提出了一个四流框架以提升VI-ReId性能。我们在每个流中使用输入图像的不同表示训练一个独立的深度卷积神经网络。我们期望从每个流中学习到不同且互补的特征。在我们的框架中，第一流使用灰度图和红外输入图像训练ResNet。第二流使用RGB图和三通道红外图像（通过重复红外通道创建）。其余两流中，我们使用局部模式图作为输入图像。这些图利用局部Zernike矩变换生成。第三流中的局部模式图由灰度图和红外图像获得，最后一流由RGB图和三通道红外图像获得。我们通过采用重排序算法进行后处理来提升所提框架的性能。我们的结果表明，所提框架大幅优于当前SOTA，在SYSU-MM01数据集上Rank-1/mAP提升29.79%/30.91%，在RegDB数据集上提升9.73%/16.36%。
引用
@article{arxiv.1907.06498,
title = {An Efficient Framework for Visible-Infrared Cross Modality Person Re-Identification},
author = {Emrah Basaran and Muhittin Gokmen and Mustafa E. Kamasak},
journal= {arXiv preprint arXiv:1907.06498},
year = {2020}
}