用于可见光-红外行人重识别的同构与异构关系图
计算机视觉与模式识别
2021-12-03 v2
摘要
可见光-红外行人重识别（VI Re-ID）旨在匹配可见光与红外模态之间的行人图像。现有的 VI Re-ID 方法主要关注提取图像中的同构结构关系，即局部特征之间的关系，而忽略了不同模态中局部特征的异构关联。异构结构关系对于学习有效的身份表示和进行跨模态匹配至关重要。在本文中，我们通过各模态内的模态特定图对同构结构关系进行建模，然后利用可见光与红外模态的模态特定图挖掘异构结构关联。首先，同构结构图（HOSG）在可见光或红外图像内挖掘任意节点（局部特征）与所有其余节点之间的一对多关系，以学习有效的身份表示。其次，为寻找跨模态身份一致对应，异构图对齐模块（HGAM）进一步以路由搜索方式度量两模态局部节点特征之间的关系边强度。第三，我们提出跨模态互相关（CMCC）损失来提取可见光与红外图特征表示的模态不变性。CMCC 计算模态间的互信息并剔除语义冗余。在 SYSU-MM01 和 RegDB 数据集上的大量实验表明，我们的方法以 13.73% 和 9.45% 的 Rank1/mAP 增益优于当前最优方法。代码可在 https://github.com/fegnyujian/Homogeneous-and-Heterogeneous-Relational-Graph 获取。
引用
@article{arxiv.2109.08811,
title = {Homogeneous and Heterogeneous Relational Graph for Visible-infrared Person Re-identification},
author = {Yujian Feng and Feng Chen and Jian Yu and Yimu Ji and Fei Wu and Shangdong Liu and Xiao-Yuan Jing},
journal= {arXiv preprint arXiv:2109.08811},
year = {2021}
}