轻量化 RGB-T 跟踪器：基于 Mobile Vision Transformers
计算机视觉与模式识别
2026-02-04 v2
摘要
单模态跟踪（RGB-only）在低光照、天气和遮挡情况下表现不佳。多模态跟踪通过组合互补线索来解决这些问题。虽然基于 Vision Transformer 的跟踪器在准确率上取得佳绩，但往往过大以难以实现实时。我们提出了一个基于 MobileViT 的轻量化 RGB-T 跟踪器，采用渐进式融合框架，使用可分离的混合注意力模型化内模态和跨模态相互作用。该设计为准确定位提供紧凑而有效的特征，参数不足 400 万，CPU 上实时性能达 25.7 FPS，GPU 上达 122 FPS，支持嵌入式和移动平台。据我们所知，这是首个基于 MobileViT 的多模态跟踪器。模型代码和权重已提供于 GitHub 仓库。
引用
@article{arxiv.2506.19154,
title = {Lightweight RGB-T Tracking with Mobile Vision Transformers},
author = {Mahdi Falaki and Maria A. Amer},
journal= {arXiv preprint arXiv:2506.19154},
year = {2026}
}
备注
Accepted for publication in ICASSP 2026. Implementation Code Available