基于高阶结构的中间特征学习用于可见光-红外人员重识别
计算机视觉与模式识别
2023-12-15 v2
摘要
可见光-红外人员重识别（VI-ReID）旨在检索由可见光（VIS）和红外（IR）摄像头捕获的相同人员的图像。现有的 VI-ReID 方法忽略了特征的高阶结构信息，同时由于 VIS 和 IR 图像之间存在巨大的模态差异，相对难以学习到一个合理的公共特征空间。为了解决上述问题，我们提出了一种新颖的基于高阶结构的中间特征学习网络（HOS-Net），用于有效的 VI-ReID。具体来说，我们首先利用一个短距离和长距离特征提取（SLE）模块来有效利用短距离和长距离特征。然后，我们提出了一个高阶结构学习（HSL）模块，基于白化超图网络成功地对每个人员图像的不同局部特征之间的高阶关系进行建模。这极大地缓解了模型坍缩并增强了特征表示。最后，我们开发了一个公共特征空间学习（CFL）模块，基于通过对齐来自不同模态和范围的特征生成的中间特征，来学习一个具有判别性和合理的公共特征空间。特别地，我们提出了一种模态-范围身份中心对比（MRIC）损失，以减小 VIS、IR 和中间特征之间的距离，平滑训练过程。在 SYSU-MM01、RegDB 和 LLCM 数据集上的大量实验表明，我们的 HOS-Net 取得了优越的领先性能。我们的代码可在 \url{https://github.com/Jaulaucoeng/HOS-Net} 获取。
引用
@article{arxiv.2312.07853,
title = {High-Order Structure Based Middle-Feature Learning for Visible-Infrared Person Re-Identification},
author = {Liuxiang Qiu and Si Chen and Yan Yan and Jing-Hao Xue and Da-Han Wang and Shunzhi Zhu},
journal= {arXiv preprint arXiv:2312.07853},
year = {2023}
}
备注
Accepted by AAAI-2024