MSO：面向 RGB-红外行人重识别的多特征空间联合优化网络
计算机视觉与模式识别
2021-10-22 v1
摘要
RGB-红外跨模态行人重识别（ReID）任务旨在可见光模态与红外模态间识别同一身份的图像。现有方法主要采用双流架构在最终公共特征空间中消除两模态间差异，忽视了浅层中各模态的独立空间。为此，本文提出一种新颖的多特征空间联合优化（MSO）网络，可在单模态空间与公共空间中学习模态可共享特征。首先，基于边缘信息具有模态不变性的观察，我们提出边缘特征增强模块以强化各单模态空间中的模态可共享特征。具体而言，在边缘融合策略分析后我们设计了感知边缘特征（PEF）损失。据我们所知，这是首项在跨模态 ReID 任务中对单模态特征空间进行显式优化的工作。此外，为增大跨模态距离与类间距离之差，我们将一种新颖的跨模态对比中心（CMCC）损失引入公共特征空间中的模态联合约束。PEF 损失与 CMCC 损失以端到端方式联合优化模型，显著提升了网络性能。大量实验表明，所提模型在 SYSU-MM01 与 RegDB 数据集上显著优于当前最优方法。
引用
@article{arxiv.2110.11264,
title = {MSO: Multi-Feature Space Joint Optimization Network for RGB-Infrared Person Re-Identification},
author = {Yajun Gao and Tengfei Liang and Yi Jin and Xiaoyan Gu and Wu Liu and Yidong Li and Congyan Lang},
journal= {arXiv preprint arXiv:2110.11264},
year = {2021}
}