MambaPro：基于Mamba聚合与协同提示的多模态目标再识别
计算机视觉与模式识别
2024-12-17 v1 多媒体
摘要
多模态目标再识别(ReID)旨在利用来自不同模态的互补图像信息来检索特定目标。近年来，像CLIP这样的大规模预训练模型在传统单模态目标ReID任务中展现了令人瞩目的性能。然而，它们在多模态目标ReID领域尚未被探索。此外，现有的多模态聚合方法在处理来自不同模态的长序列时存在明显局限。为解决上述问题，我们提出了一种名为MambaPro的多模态目标ReID新框架。具体而言，我们首先采用并行前馈适配器(PFA)来适配CLIP以用于多模态目标ReID。然后，我们提出了协同残差提示(SRP)来引导多模态特征的联合学习。最后，利用Mamba在长序列方面的优越可扩展性，我们引入了Mamba聚合(MA)来高效建模不同模态之间的交互。因此，MambaPro能够以更低的复杂度提取更鲁棒的特征。在三个多模态目标ReID基准数据集（即RGBNT201、RGBNT100和MSVR310）上的广泛实验验证了所提方法的有效性。源代码可在https://github.com/924973292/MambaPro获取。
引用
@article{arxiv.2412.10707,
title = {MambaPro: Multi-Modal Object Re-Identification with Mamba Aggregation and Synergistic Prompt},
author = {Yuhao Wang and Xuehu Liu and Tianyu Yan and Yang Liu and Aihua Zheng and Pingping Zhang and Huchuan Lu},
journal= {arXiv preprint arXiv:2412.10707},
year = {2024}
}
备注
This work is accepted by AAAI2025. More modifications may be performed