基于互信息引导的最优传输无监督可见红外人体重识别
计算机视觉与模式识别
2024-07-18 v1
摘要
无监督可见红外人体重识别（USVI-ReID）是一个旨在无使用任何标签信息的情况下检索跨模态行人图像的挑战性检索任务。在该任务中，较大的跨模态差异使得生成可靠的跨模态标签变得困难，而缺乏标注也为学习模态不变特征提供了额外的困难。本文首先基于模型的跨模态输入与输出之间的互信息，推导了无监督VI-ReID的优化目标。等价推导后，获得了三个学习原则，即“锐度”（熵最小化）、“公平性”（均匀标签分布）和“适应性”（可靠的跨模态匹配）。在这些原则的指导下，我们设计了一种交替进行模型训练和跨模态匹配的循环迭代训练策略。在匹配阶段，提出了在均匀先验指导下的最优传输分配（“适应性”、“公平性”），用于选择匹配的可见和红外原型。在训练阶段，我们利用该匹配信息引入基于原型的对比学习，以最小化内部和跨模态熵（“锐度”）。大量实验结果表明，我们的方法在基准数据集上的有效性，例如在SYSU-MM01和RegDB上分别达到了60.6%和90.3%的准确率，且完全没有使用任何标注。
引用
@article{arxiv.2407.12758,
title = {Mutual Information Guided Optimal Transport for Unsupervised Visible-Infrared Person Re-identification},
author = {Zhizhong Zhang and Jiangming Wang and Xin Tan and Yanyun Qu and Junping Wang and Yong Xie and Yuan Xie},
journal= {arXiv preprint arXiv:2407.12758},
year = {2024}
}