用于可见光-红外行人重识别的模态统一网络
计算机视觉与模式识别
2023-10-06 v2
摘要
可见光-红外行人重识别（VI-ReID）由于较大的跨模态差异和类内变化而是一项具有挑战性的任务。现有方法主要通过将不同模态嵌入同一特征空间来学习模态共享表示。结果，所学特征强调跨模态的共同模式，同时抑制了对重识别有价值的模态特定和身份感知信息。为解决这些问题，我们提出一种新颖的模态统一网络（MUN）来为 VI-ReID 探索一种鲁棒的辅助模态。首先，辅助模态由所提出的跨模态学习器和类内模态学习器组合生成，其可动态建模模态特定与模态共享表示，以缓解跨模态与类内变化。其次，通过对齐三个模态间的身份中心，提出一种身份对齐损失函数来发掘判别性特征表示。第三，引入模态对齐损失，通过模态原型建模一致地减小可见光与红外图像的分布距离。在多个公开数据集上的大量实验表明，所提方法以显著优势超越当前最先进方法。
引用
@article{arxiv.2309.06262,
title = {Modality Unifying Network for Visible-Infrared Person Re-Identification},
author = {Hao Yu and Xu Cheng and Wei Peng and Weihao Liu and Guoying Zhao},
journal= {arXiv preprint arXiv:2309.06262},
year = {2023}
}
备注
11 pages, 5 figures. Accepted as the poster paper in ICCV2023