ReID5o：单模型实现全模态人物再识别
计算机视觉与模式识别
2025-10-22 v2
摘要
在现实场景中，人物再识别（ReID）期望通过描述性查询识别感兴趣人物，无论查询是单一模态还是多模态组合。然而，现有方法和数据集仍局限于有限模态，无法满足这一需求。因此，我们研究了一个新的具有挑战性的问题，称为全模态人物再识别（OM-ReID），旨在通过变化的多模态查询实现有效检索。为解决数据集稀缺问题，我们构建了ORBench——第一个高质量多模态数据集，包含1,000个唯一身份，涵盖五种模态：RGB、红外、彩色铅笔、素描和文本描述。该数据集在多样性方面也具有显著优势，如绘画视角和文本信息。它可以作为OM-ReID后续研究的理想平台。此外，我们提出了ReID5o，一种新颖的人物ReID多模态学习框架。它通过统一的编码和多专家路由机制，实现了任意模态组合在单一模型中的协同融合和跨模态对齐。大量实验验证了ORBench的先进性和实用性。在该数据集上评估和比较了广泛可能的模型，我们提出的ReID5o模型取得了最佳性能。数据集和代码将在https://github.com/Zplusdragon/ReID5o_ORBench公开发布。
引用
@article{arxiv.2506.09385,
title = {ReID5o: Achieving Omni Multi-modal Person Re-identification in a Single Model},
author = {Jialong Zuo and Yongtai Deng and Mengdan Tan and Rui Jin and Dongyue Wu and Nong Sang and Liang Pan and Changxin Gao},
journal= {arXiv preprint arXiv:2506.09385},
year = {2025}
}
备注
NeurIPS2025 Accepted Paper