混合模态行人重识别：一种新的实用范式
计算机视觉与模式识别
2024-12-31 v1
摘要
当前的可见光-红外跨模态行人重识别研究仅聚焦于探索双模态相互检索范式，我们提出了一种新的、更实用的混合模态检索范式。现有的可见光-红外行人重识别（VI-ReID）方法通过学习可见光与红外模态之间的对应关系，在双模态相互检索范式中取得了一些成果。然而，当这些方法应用于新的混合模态范式时，由于模态混淆问题，性能显著下降。因此，本文提出了混合模态行人重识别（MM-ReID）任务，探索了模态混合比例对性能的影响，并根据新的混合模态测试范式为现有数据集构建了混合模态测试集。为解决MM-ReID中的模态混淆问题，我们提出了一种跨身份区分均衡损失（CIDHL），用于调整超球特征空间中样本的分布，将同身份样本的中心拉近，将不同身份样本的中心推开，同时聚合同模态且同身份的样本。此外，我们提出了一种模态桥相似度优化策略（MBSOS），借助库中的相似桥样本优化查询样本与被查询样本之间的跨模态相似度。大量实验表明，与现有跨模态方法在MM-ReID上的原始性能相比，加入CIDHL和MBSOS带来了普遍提升。
引用
@article{arxiv.2412.04719,
title = {Mix-Modality Person Re-Identification: A New and Practical Paradigm},
author = {Wei Liu and Xin Xu and Hua Chang and Xin Yuan and Zheng Wang},
journal= {arXiv preprint arXiv:2412.04719},
year = {2024}
}