WRIM-Net:用于可见光-红外行人重识别的广域信息挖掘网络
计算机视觉与模式识别
2024-08-21 v1 人工智能
摘要
对于可见光-红外行人重识别(VI-ReID)任务,主要挑战之一在于显著的模态差异。现有方法在挖掘模态不变信息方面存在不足,它们通常只关注挖掘空间或通道等单一维度的信息,而忽略了特定模态的多维信息提取。为了全面挖掘模态不变信息,我们引入了广域信息挖掘网络(WRIM-Net),主要由一个多维交互信息挖掘(MIIM)模块和一个基于辅助信息的对比学习(AICL)方法组成。借助所提出的全局区域交互(GRI),MIIM通过维度内交互全面挖掘非局部的空间和通道信息。此外,由于低计算复杂度的设计,独立的MIIM可以放置在网络的浅层,使网络能够更好地挖掘特定模态的多维信息。AICL通过引入新颖的跨模态关键实例对比(CMKIC)损失,有效引导网络提取模态不变信息。我们不仅在SYSU-MM01和RegDB数据集上进行了广泛实验,还在最新的跨模态大规模数据集LLCM上进行了验证。结果表明,WRIM-Net的性能优于最先进的方法。
关键词
引用
@article{arxiv.2408.10624,
title = {WRIM-Net: Wide-Ranging Information Mining Network for Visible-Infrared Person Re-Identification},
author = {Yonggan Wu and Ling-Chao Meng and Yuan Zichao and Sixian Chan and Hong-Qiang Wang},
journal= {arXiv preprint arXiv:2408.10624},
year = {2024}
}
备注
18 pages, 5 figures