面向基于视频的可见光-红外行人重识别的模态不变与时间记忆学习
计算机视觉与模式识别
2022-08-05 v1
摘要
得益于跨模态检索技术，可见光-红外（RGB-IR）行人重识别（Re-ID）通过将二者投影到公共空间来实现，从而支持24小时监控系统下的行人Re-ID。然而，在探针到画廊的设定下，几乎所有现有的基于RGB-IR的跨模态行人Re-ID方法都聚焦于图像到图像的匹配，而包含更丰富空间与时间信息的视频到视频匹配仍未被充分探索。本文主要研究基于视频的跨模态行人Re-ID方法。为完成该任务，我们构建了一个基于视频的RGB-IR数据集，其中收集了由12个RGB/IR相机拍摄的927个有效身份、463,259帧和21,863条轨迹。基于所构建的数据集，我们证明随着一条轨迹中帧数的增加，性能确实获得更多提升，表明了视频到视频匹配在RGB-IR行人Re-ID中的重要性。此外，我们进一步提出了一种新方法，不仅将两种模态投影到模态不变子空间，还提取时间记忆以实现运动不变性。得益于这两种策略，在我们的基于视频的跨模态行人Re-ID上取得了远更好的结果。代码与数据集发布于：https://github.com/VCMproject233/MITML。
引用
@article{arxiv.2208.02450,
title = {Learning Modal-Invariant and Temporal-Memory for Video-based Visible-Infrared Person Re-Identification},
author = {Xinyu Lin and Jinxing Li and Zeyu Ma and Huafeng Li and Shuang Li and Kaixiong Xu and Guangming Lu and David Zhang},
journal= {arXiv preprint arXiv:2208.02450},
year = {2022}
}