面向可见光-热成像行人重识别的跨模态局部最短路径与全局增强
计算机视觉与模式识别
2022-06-10 v1
摘要
在可见光-热成像跨模态行人重识别（VT-ReID）任务中，除了考虑人体姿态和遮挡带来的识别困难外，还需解决不同成像系统引起的模态差异。本文提出跨模态局部最短路径与全局增强（CM-LSP-GE）模块，一种基于局部与全局特征联合学习的双流网络。我们论文的核心思想是利用局部特征对齐解决遮挡问题，并通过强化全局特征解决模态差异。首先，设计基于注意力的双流ResNet网络提取双模态特征并映射到统一特征空间。然后，为解决跨模态行人姿态与遮挡问题，将图像水平切分为若干等份以获取局部特征，并利用两图间局部特征的最短路径实现细粒度局部特征对齐。第三，批归一化增强模块将全局特征应用于增强策略，从而在不同类间实现差异增强。多粒度损失融合策略进一步提升算法性能。最后，采用局部与全局特征联合学习机制提高跨模态行人重识别精度。在两个典型数据集上的实验结果表明，我们的模型明显优于绝大多数最先进方法。尤其在SYSU-MM01数据集上，我们的模型在Rank-1和mAP的全部检索项中分别取得2.89%和7.96%的提升。源代码将很快发布。
引用
@article{arxiv.2206.04401,
title = {Cross-modal Local Shortest Path and Global Enhancement for Visible-Thermal Person Re-Identification},
author = {Xiaohong Wang and Chaoqi Li and Xiangcai Ma},
journal= {arXiv preprint arXiv:2206.04401},
year = {2022}
}