基于师生 GAN 模型的 RGB-IR 跨模态行人重识别
计算机视觉与模式识别
2020-07-16 v1
摘要
RGB-红外（RGB-IR）行人重识别（ReID）是一项在光照不足时系统可自动识别视频不同位置出现的同一人的技术。该任务的关键挑战是不同模态下特征的跨模态差异。为应对此挑战，我们提出一种师生 GAN 模型（TS-GAN）来适配不同域并引导 ReID 主干网络学习更好的 ReID 信息。（1）为获取对应的 RGB-IR 图像对，使用 RGB-IR 生成对抗网络（GAN）生成 IR 图像。（2）为启动身份训练，先在 IR 模态行人图像上训练一个 ReID 教师模块，随后用于指导其学生模块训练。（3）类似地，为更好适配不同域特征并增强模型 ReID 性能，使用了三种师生损失函数。与其他基于 GAN 的模型不同，所提模型在测试阶段仅需主干模块，更高效且省资源。为展示模型能力，我们在新发布的 SYSU-MM01 RGB-IR Re-ID 基准上做了充分实验，以 49.8% Rank-1 和 47.4% mAP 取得了优于当前最优方法的性能。
引用
@article{arxiv.2007.07452,
title = {RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model},
author = {Ziyue Zhang and Shuai Jiang and Congzhentao Huang and Yang Li and Richard Yi Da Xu},
journal= {arXiv preprint arXiv:2007.07452},
year = {2020}
}
备注
8 pages including 1 page reference