UASTrack：单目标跟踪中融合模态定制的统一自适应选择框架
计算机视觉与模式识别
2026-03-24 v2 人工智能
摘要
多模态跟踪对于单目标跟踪（SOT）至关重要，因为不同传感器类型提供了独特的能力以克服由目标外观变化引起的挑战。然而，现有的统一RGB-X跟踪器（X代表深度、事件或热红外模态）要么依赖针对特定RGB-X图像对的任务特定训练策略，要么未能在实际应用中解决模态自适应感知的关键重要性。在本工作中，我们提出UASTrack，一个统一的自适应选择框架，促进模型与参数的统一，以及跨多种多模态跟踪任务的模态自适应判别。为实现联合RGB-X对中的模态自适应感知，我们设计了一种判别式自动选择器（Discriminative Auto-Selector, DAS），能够识别模态标签，从而区分辅助模态的数据分布。此外，我们提出了一种任务定制优化适配器（Task-Customized Optimization Adapter, TCOA），专门针对隐空间中不同模态进行优化。该策略根据每种模态的具体特征有效过滤噪声冗余并缓解背景干扰。在涵盖RGB-T、RGB-E和RGB-D跟踪场景的五个基准数据集（LasHeR、GTOT、RGBT234、VisEvent和DepthTrack）上的广泛对比实验表明，我们的方法仅引入额外1.87M训练参数和1.95G浮点运算即可达到可比性能。代码将发布于：https://github.com/wanghe/UASTrack。
引用
@article{arxiv.2502.18220,
title = {UASTrack: A Unified Adaptive Selection Framework with Modality-Customization in Single Object Tracking},
author = {He Wang and Tianyang Xu and Zhangyong Tang and Xiao-Jun Wu and Josef Kittler},
journal= {arXiv preprint arXiv:2502.18220},
year = {2026}
}