MDReID：基于模态解耦学习的任意到任意多模态目标重识别
计算机视觉与模式识别
2026-01-14 v2
摘要
现实中的目标重识别（ReID）系统常面临模态不一致问题，即查询图像和画廊图像来自不同传感器（如 RGB、NIR、TIR）。然而，大多数现有方法假设模态匹配条件，这限制了其在实际应用中的鲁棒性和可扩展性。为解决这一挑战，我们提出了 MDReID，一个面向单模态匹配和模态不匹配场景的灵活的任意到任意图像级 ReID 框架。MDReID 基于模态信息可分解为两个组成部分的洞见：可预测和可迁移的模态共享特征，以及捕获独特、模态依赖特征的模态特定特征。为有效利用这一点，MDReID 引入了两个关键组件：模态解耦学习（MDL）和模态感知度量学习（MML）。具体而言，MDL 显式地将模态特征分解为模态共享和模态特定表示，实现了单模态对齐和不匹配场景中的有效检索。MML 是一种量身定制的度量学习策略，进一步强制这两个组件之间的正交性和互补性，以增强跨模态的判别能力。在三个具有挑战性的多模态 ReID 数据集（RGBNT201、RGBNT100、MSVR310）上进行的大量实验一致显示了 MDReID 的优势。值得注意的是，在一般模态匹配场景中，MDReID 分别实现了 9.8%、3.0% 和 11.5% 的 mAP 显著提升，而在模态不匹配场景中，分别实现了 3.4%、11.8% 和 10.9% 的平均提升。代码地址：https://github.com/stone96123/MDReID。
引用
@article{arxiv.2510.23301,
title = {MDReID: Modality-Decoupled Learning for Any-to-Any Multi-Modal Object Re-Identification},
author = {Yingying Feng and Jie Li and Jie Hu and Yukang Zhang and Lei Tan and Jiayi Ji},
journal= {arXiv preprint arXiv:2510.23301},
year = {2026}
}
备注
Accepted by NeurIPS 2025