面向无监督可见光-红外行人重识别的鲁棒对偶学习
计算机视觉与模式识别
2025-05-07 v2 多媒体
摘要
无监督可见光-红外行人重识别（UVI-ReID）旨在无需昂贵标注的情况下跨不同模态检索行人图像，但由于模态差异和缺乏监督而面临挑战。现有方法通常采用基于聚类生成的伪标签进行自训练，但隐含地假设这些标签总是正确的。然而在实践中，由于不可避免的伪标签噪声，这一假设并不成立，从而阻碍了模型学习。为解决此问题，我们引入了一种显式考虑伪标签噪声（PLN）的新学习范式，该范式具有三个关键挑战：噪声过拟合、误差累积和噪声聚类对应。为此，我们提出了一种新颖的鲁棒对偶学习框架（RoDE）用于 UVI-ReID，以减轻噪声伪标签的影响。首先，为对抗噪声过拟合，提出了一种鲁棒自适应学习机制（RAL），动态强调干净样本并降低噪声样本的权重。其次，为缓解模型强化自身错误的误差累积问题，RoDE 采用两个不同的对偶模型，利用彼此的伪标签交替训练，鼓励多样性并防止崩溃。然而，这种对偶模型策略引入了跨模型和跨模态的聚类间不对齐，产生了噪声聚类对应。为解决此问题，我们引入了聚类一致性匹配（CCM），通过测量跨聚类相似度来对齐跨模型和跨模态的聚类。在三个基准数据集上的大量实验证明了 RoDE 的有效性。
引用
@article{arxiv.2505.02549,
title = {Robust Duality Learning for Unsupervised Visible-Infrared Person Re-Identification},
author = {Yongxiang Li and Yuan Sun and Yang Qin and Dezhong Peng and Xi Peng and Peng Hu},
journal= {arXiv preprint arXiv:2505.02549},
year = {2025}
}