基于邻域关系的鲁棒伪标签学习用于无监督可见光-红外行人重识别
计算机视觉与模式识别
2024-05-10 v1
摘要
无监督可见光-红外行人重识别（USVI-ReID）是一项艰巨的挑战，旨在没有任何标注的情况下匹配跨可见光和红外模态的行人图像。最近，聚类伪标签方法在USVI-ReID中成为主流，尽管伪标签中固有的噪声构成了重大障碍。现有大多数工作主要关注保护模型免受噪声的有害影响，而忽略了校准通常与困难样本相关的噪声伪标签，这将损害模型的鲁棒性。为了解决这个问题，我们设计了一个基于邻域关系的鲁棒伪标签学习（RPNR）框架用于USVI-ReID。具体来说，我们首先引入一个简单而有效的噪声伪标签校准模块来纠正噪声伪标签。由于类内差异大，噪声伪标签难以完全校准。因此，我们引入一个邻域关系学习模块，通过建模所有样本之间的潜在交互来减少类内差异。随后，我们设计了一个最优传输原型匹配模块来建立可靠的跨模态对应关系。在此基础上，我们设计了一个记忆混合学习模块来联合学习模态特定和模态不变信息。在两个广泛认可的基准SYSU-MM01和RegDB上进行的全面实验表明，RPNR以平均Rank-1提升10.3%优于当前最先进的GUR。源代码即将发布。
引用
@article{arxiv.2405.05613,
title = {Robust Pseudo-label Learning with Neighbor Relation for Unsupervised Visible-Infrared Person Re-Identification},
author = {Xiangbo Yin and Jiangming Shi and Yachao Zhang and Yang Lu and Zhizhong Zhang and Yuan Xie and Yanyun Qu},
journal= {arXiv preprint arXiv:2405.05613},
year = {2024}
}