基于辅助样本的视频可见光-红外行人重识别
计算机视觉与模式识别
2023-11-28 v1
摘要
可见光-红外行人重识别（VI-ReID）旨在匹配由可见光与红外相机拍摄的行人，以实现24小时监控系统下的行人检索与跟踪。先前方法聚焦于从不同相机中的跨模态行人图像学习。然而，时间信息与单相机样本往往被忽视。为破解此问题，本文首先贡献了一个大规模VI-ReID数据集BUPTCampus。与多数现有VI-ReID数据集不同，它1）收集轨迹片段而非图像以引入丰富时间信息，2）包含像素对齐的跨模态样本对以助更好的模态不变学习，3）提供一个辅助集以帮助增强优化，其中每个身份仅出现在单一相机中。基于所构建数据集，我们提出一个双流框架作为基线，并应用生成对抗网络（GAN）来缩小两模态间差距。为利用辅助集带来的优势，我们提出一种基于课程学习的策略，从主集与辅助集联合学习。此外，我们设计了一种新颖的时间k互易重排序方法，利用细粒度时间关联线索优化排序列表。实验结果证明了所提方法的有效性。我们还在BUPTCampus上复现了9种最先进的基于图像和基于视频的VI-ReID方法，我们的方法相对它们展现出显著优越性。代码与数据集见：https://github.com/dyhBUPT/BUPTCampus。
引用
@article{arxiv.2311.15571,
title = {Video-based Visible-Infrared Person Re-Identification with Auxiliary Samples},
author = {Yunhao Du and Cheng Lei and Zhicheng Zhao and Yuan Dong and Fei Su},
journal= {arXiv preprint arXiv:2311.15571},
year = {2023}
}
备注
Accepted by Transactions on Information Forensics & Security 2023