增强可见-热成像跨模态行人重识别的判别特征学习
计算机视觉与模式识别
2019-07-24 v1
摘要
现有行人重识别在可见域已取得很大进展，利用可见相机采集所有行人图像。然而，在 24 小时智能监控系统中，可见相机在夜间可能失效。此时，热成像相机是最佳补充部件，其不依赖可见光捕获图像。因此，本文研究可见-热成像跨模态行人重识别（VT Re-ID）问题。在 VT Re-ID 中，有两个棘手问题需妥善处理：跨模态差异与模态内变化。为解决这两类问题，我们提出从两个核心方面以两种极简手段增强判别特征学习（EDFL）：（1）用于中层特征融合的跳跃连接，以提升行人特征的判别性与鲁棒性；（2）双模态三元组损失，通过同时考虑跨模态差异与模态内变化来引导训练过程。此外，采用双流 CNN 结构学习多模态可共享行人特征。在两个数据集上的实验结果表明，所提 EDFL 方法大幅优于最先进方法，证明了我们的 EDFL 对增强 VT Re-ID 判别特征学习的有效性。
引用
@article{arxiv.1907.09659,
title = {Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person Re-Identification},
author = {Haijun Liu and Jian Cheng},
journal= {arXiv preprint arXiv:1907.09659},
year = {2019}
}