DMTrack：基于双适配器的时空多模态跟踪
计算机视觉与模式识别
2026-03-04 v2 人工智能
摘要
本文探索适配器调优，提出一种名为DMTrack的新型时空多模态跟踪双适配器架构。DMTrack的关键在于两个简单且高效的模块，包括时空模态适配器(STMA)和渐进式模态互补适配器(PMCA)。前者分别作用于单个模态，旨在通过自提示方式调整从冻结主干网络中提取的时空特征，从而在一定程度上弥合不同模态之间的差距，促进更好的跨模态融合。后者通过设计的两个特定像素级浅层和深层适配器来逐步实现跨模态提示。浅层适配器在两个模态之间共享参数，以弥合两个模态分支之间信息流，为后续模态融合奠定基础；而深层适配器则通过像素级内模态注意力调制初步融合的信息流，并通过像素级跨模态注意力进一步生成模态感知提示。通过上述设计，DMTrack仅需0.93万训练参数即可实现令人满意的时空多模态跟踪性能。在五个基准数据集上的大量实验表明，DMTrack取得了最先进的结果。我们的代码和模型可在https://github.com/Nightwatch-Fox11/DMTrack获取。
引用
@article{arxiv.2508.01592,
title = {DMTrack: Spatio-Temporal Multimodal Tracking via Dual-Adapter},
author = {Weihong Li and Shaohua Dong and Haonan Lu and Yanhao Zhang and Heng Fan and Libo Zhang},
journal= {arXiv preprint arXiv:2508.01592},
year = {2026}
}
备注
Accepted by ICRA 2026