利用特权中间信息的可见光-红外行人重识别
计算机视觉与模式识别
2022-09-21 v1 机器学习
摘要
可见光-红外行人重识别(ReID)旨在跨RGB与IR相机网络识别同一感兴趣行人。一些深度学习(DL)模型已直接融合两种模态以在联合表示空间中区分行人。然而,由于RGB与IR模态间数据分布存在巨大域偏移,这一跨模态ReID问题仍具挑战性。本文提出一种新方法,在训练期间创建一个作为两主域(即RGB与IR模态)之间桥梁的中间虚拟域。该中间域被视为特权信息(PI),在测试时不可用,并允许将此跨模态匹配任务表述为基于特权信息的学习(LUPI)问题。我们设计了一种新方法,生成可见光与红外域之间的图像,通过中间域适应为训练深度ReID模型提供额外信息。特别地,通过在训练中使用无颜色与多步三元组损失目标,我们的方法提供了对大可见光-红外域偏移鲁棒的共同特征表示空间。在具挑战性的可见光-红外ReID数据集上的实验结果表明,我们提出的方法持续提高匹配精度,且在测试时无任何计算开销。代码见:\href{https://github.com/alehdaghi/Cross-Modal-Re-ID-via-LUPI}{https://github.com/alehdaghi/Cross-Modal-Re-ID-via-LUPI}
引用
@article{arxiv.2209.09348,
title = {Visible-Infrared Person Re-Identification Using Privileged Intermediate Information},
author = {Mahdi Alehdaghi and Arthur Josi and Rafael M. O. Cruz and Eric Granger},
journal= {arXiv preprint arXiv:2209.09348},
year = {2022}
}