DeMo：基于解耦特征的多模态物体重识别的混合专家
计算机视觉与模式识别
2024-12-17 v1
摘要
多模态物体重识别(ReID)旨在通过结合来自多种模态的互补信息来检索特定物体。现有的多模态物体重识别方法主要关注异构特征的融合。然而，这些方法往往忽视了多模态成像中动态质量变化的特点。此外，不同模态之间的共享信息可能会削弱模态特定的信息。为了解决这些问题，我们提出了一种名为DeMo的新型特征学习框架，用于多模态物体重识别，该框架使用混合专家来自适应地平衡解耦后的特征。具体而言，我们首先部署一个集成特征提取器(PIFE)来提取多粒度和多模态特征。随后，我们引入一个层次解耦模块(HDM)将多模态特征解耦为非重叠形式，保留模态唯一性并增加特征多样性。最后，我们提出了一个由注意力触发的混合专家(ATMoE)，该方法用来自解耦后特征的动态注意力权重取代传统的门控机制。通过这些模块，DeMo能够生成更稳健的多模态特征。在三个多模态物体重识别基准测试上进行了大量实验，充分验证了我们方法的有效性。源代码可在 https://github.com/924973292/DeMo 查阅。
引用
@article{arxiv.2412.10650,
title = {DeMo: Decoupled Feature-Based Mixture of Experts for Multi-Modal Object Re-Identification},
author = {Yuhao Wang and Yang Liu and Aihua Zheng and Pingping Zhang},
journal= {arXiv preprint arXiv:2412.10650},
year = {2024}
}
备注
This work is accepted by AAAI2025. More motifications may be performed