面向多模态跟踪的稀疏-稠密混合专家适配器
计算机视觉与模式识别
2026-03-17 v1
摘要
参数高效微调 (PEFT) 技术，如 prompt 和 adapter，因其缓解了全模型微调的时间效率、资源消耗、参数存储负担和 catastrophic forgetting 等问题，在多模态跟踪中得到广泛应用。然而，由于跨模态异构性，现有大多数 PEFT-based 方法难以在统一框架内以共享参数有效表示多模态特征。为解决此问题，我们提出一种 novel 稀疏-稠密混合专家适配器 (SDMoEA) 框架，用于 PEFT-based 多模态跟踪，基于统一模型结构。具体而言，我们设计 SDMoE 模块作为多模态适配器，高效地建模模态特定信息和共享信息。SDMoE 由稀疏 MoE 和稠密共享 MoE 组成：前者捕获模态特定信息，后者建模跨模态共享信息。此外，为克服现有跟踪方法在多层级多模态融合中建模高阶关联的局限，我们引入基于 Gram 矩阵的语义对齐超图融合 (GSAHF) 模块。该模块首先利用 Gram 矩阵进行跨模态语义对齐，确保构建的超图准确反映模态间的语义相似性和高阶依赖关系。对齐特征随后被整合到超图结构中，以发挥其建模高阶关系的能力，实现多层级多模态信息的深度融合。广泛实验表明，所提方法在 LasHeR、RGBT234、VTUAV、VisEvent、COESOT、DepthTrack 和 VOT-RGBD2022 等多个多模态跟踪基准上，以优于其他 PEFT 方法的性能表现。
引用
@article{arxiv.2603.13719,
title = {Sparse-Dense Mixture of Experts Adapter for Multi-Modal Tracking},
author = {Yabin Zhu and Jianqi Li and Chenglong Li and Jiaxiang Wang and Chengjie Gu and Jin Tang},
journal= {arXiv preprint arXiv:2603.13719},
year = {2026}
}