基于伪标签校正与模态级对齐的无监督可见光-红外行人重识别
计算机视觉与模式识别
2024-04-11 v1
摘要
无监督可见光-红外行人重识别（UVI-ReID）因其在无需标注的多样环境中增强行人检测的潜力而近期受到广泛关注。以往方法利用模态内聚类和跨模态特征匹配来实现 UVI-ReID。然而存在两个挑战：1）聚类过程中可能产生噪声伪标签；2）通过匹配可见光与红外模态的边缘分布进行跨模态特征对齐，可能导致两个模态中不同身份之间的错配。本文首先进行理论分析，引入了一个可解释的泛化误差上界。基于该分析，我们提出了一种新颖的无监督跨模态行人重识别框架（PRAISE）。具体而言，针对第一个挑战，我们提出了一种伪标签校正策略，利用 Beta 混合模型基于网络记忆效应预测误聚类概率，并通过在对比学习中添加感知项来校正对应关系。随后，我们引入模态级对齐策略，生成成对的可见光-红外潜在特征，并通过将可见光与红外特征的标注函数对齐来缩小模态差异，以学习身份判别性强且模态不变的特征。在两个基准数据集上的实验结果表明，我们的方法优于无监督可见光-ReID 方法，达到了 SOTA 性能。
引用
@article{arxiv.2404.06683,
title = {Unsupervised Visible-Infrared ReID via Pseudo-label Correction and Modality-level Alignment},
author = {Yexin Liu and Weiming Zhang and Athanasios V. Vasilakos and Lin Wang},
journal= {arXiv preprint arXiv:2404.06683},
year = {2024}
}
备注
10 pages, 6 figures