面向异构行人重识别的跨模态信息瓶颈表征学习
计算机视觉与模式识别
2023-08-30 v1 人工智能
摘要
可见光-红外行人重识别（VI-ReID）是智能视频监控中一项重要且具挑战性的任务。现有方法主要聚焦于学习共享特征空间以减小可见光与红外模态间的模态差异，但仍有两个问题未被充分探索：信息冗余与模态互补性。为此，恰当消除身份无关信息并弥补模态特有信息至关重要且仍是一项挑战。为应对上述问题，我们提出一种新颖的互信息与模态共识网络，即 CMInfoNet，以提取具最具代表性信息的模态不变身份特征并降低冗余。我们方法的核心洞见是通过优化互信息瓶颈权衡，寻找一种最优表征以捕获更多身份相关信息并压缩无关部分。此外，我们提出一种自动搜索策略以寻找识别行人的最显著部位。为消除跨模态与模态内差异，我们还设计了一个模态共识模块以对齐可见光与红外模态，提供任务特定引导。同时，也可获取全局-局部特征表征用于关键部位判别。在 SYSU-MM01、RegDB、Occluded-DukeMTMC、Occluded-REID、Partial-REID 与 Partial_iLIDS 四个基准（数据集）上的实验结果证明了 CMInfoNet 的有效性。
引用
@article{arxiv.2308.15063,
title = {Learning Cross-modality Information Bottleneck Representation for Heterogeneous Person Re-Identification},
author = {Haichao Shi and Mandi Luo and Xiao-Yu Zhang and Ran He},
journal= {arXiv preprint arXiv:2308.15063},
year = {2023}
}