用于 RGB-T 视频中多个小目标跟踪的异构图变换器
计算机视觉与模式识别
2024-12-17 v1 人工智能
摘要
跟踪多个小目标高度具有挑战性 due to their weak appearance and limited features。现有的多目标跟踪算法通常 focus on single-modality scenes， and overlook the complementary characteristics of tiny objects captured by multiple remote sensors。为了通过整合来自多个来源的互补信息来增强跟踪性能，我们提出了一种新框架称为 HGT-Track（基于异构图变换器的多小目标跟踪）。具体而言，我们首先采用基于 Transformer 的编码器对来自不同模态的图像进行嵌入。随后，我们利用异构图变换器来聚合来自多个模态的空间和时序信息，以生成检测和跟踪特征。此外，我们引入目标重新检测模块（ReDet），以确保轨迹连续性，维护不同模态之间的一致性。此外，本文引入了第一个基准 VT-Tiny-MOT（可见-热成像小目标多目标跟踪），用于 RGB-T 融合的多个小目标跟踪。对 VT-Tiny-MOT 上的广泛实验表明了我们方法的有效性。与其他最先进的方法相比，我们的方法在 MOTA（多目标跟踪准确性）和 ID-F1 分数方面表现更好。代码和数据集将在 https://github.com/xuqingyu26/HGTMT 提供。
引用
@article{arxiv.2412.10861,
title = {Heterogeneous Graph Transformer for Multiple Tiny Object Tracking in RGB-T Videos},
author = {Qingyu Xu and Longguang Wang and Weidong Sheng and Yingqian Wang and Chao Xiao and Chao Ma and Wei An},
journal= {arXiv preprint arXiv:2412.10861},
year = {2024}
}
备注
N/A