面向可见光-红外行人重识别的模态感知行人注意力学习迁移
计算机视觉与模式识别
2023-12-20 v2 人工智能
摘要
可见光-红外行人重识别（VI-ReID）旨在跨可见光与红外模态检索同一目标行人。现有模型主要关注补偿模态特定信息以减小模态差异。然而，这些方法通常带来较高的计算开销，且在生成对应图像或特征时可能引入干扰信息。为解决此问题，利用行人注意力特征并学习模态完备且一致的特征表示至关重要。本文提出了一种新颖的模态感知行人注意力学习迁移（TMPA）模型，聚焦于行人区域以高效补偿缺失的模态特定特征。具体而言，我们提出了基于区域的数据增强模块 PedMix，通过混合来自不同模态的对应区域来增强行人区域连贯性。我们设计了一个轻量级的混合补偿模块，即模态特征迁移（MFT），结合交叉注意力与卷积网络，以最小的计算开销充分探索具有判别性的模态完备特征。在基准数据集 SYSU-MM01 和 RegDB 上进行的大量实验证明了所提出的 TMPA 模型的有效性。
关键词
引用
@article{arxiv.2312.07021,
title = {Transferring Modality-Aware Pedestrian Attentive Learning for Visible-Infrared Person Re-identification},
author = {Yuwei Guo and Wenhao Zhang and Licheng Jiao and Shuang Wang and Shuo Wang and Fang Liu},
journal= {arXiv preprint arXiv:2312.07021},
year = {2023}
}