CSTrack：通过紧凑时空特征增强 RGB-X 跟踪
计算机视觉与模式识别
2025-05-27 v1 人工智能
摘要
有效地建模和利用来自 RGB 及其他模态（例如，深度、热成像和事件数据，记为 X）的时空特征是 RGB-X 跟踪器设计的核心。现有方法通常采用两个并行分支分别处理 RGB 和 X 输入流，要求模型同时处理两个分散的特征空间，这使得模型结构和计算过程都变得复杂。更关键的是，每个分散空间内的模态内空间建模会产生大量的计算开销，限制了用于模态间空间建模和时间建模的资源。为了解决这个问题，我们提出了一种新颖的跟踪器 CSTrack，它专注于建模紧凑时空特征以实现简单而有效的跟踪。具体来说，我们首先引入了一个创新的空间紧凑模块，将 RGB-X 双输入流集成为一个紧凑的空间特征，从而实现充分的模态内和模态间空间建模。此外，我们设计了一个高效的时序紧凑模块，通过构建精细的目标分布热力图来紧凑地表示时间特征。大量实验验证了我们紧凑时空建模方法的有效性，CSTrack 在主流 RGB-X 基准上取得了新的 SOTA 结果。代码和模型将发布于：https://github.com/XiaokunFeng/CSTrack。
引用
@article{arxiv.2505.19434,
title = {CSTrack: Enhancing RGB-X Tracking via Compact Spatiotemporal Features},
author = {X. Feng and D. Zhang and S. Hu and X. Li and M. Wu and J. Zhang and X. Chen and K. Huang},
journal= {arXiv preprint arXiv:2505.19434},
year = {2025}
}
备注
Accepted by ICML25!