TAPTR：基于 Transformer 检测范式的任意点跟踪
计算机视觉与模式识别
2024-03-21 v1 机器人学
摘要
本文提出了一种简洁且强大的任意点跟踪框架 TAPTR(Tracking Any Point with TRansformers)。基于点跟踪与目标检测及跟踪任务高度相似的观察,我们借鉴 DETR 类算法的设计来解决 TAP 任务。在所提出的框架中,在每一视频帧内,每个跟踪点被表示为一个点查询(point query),由位置部分与内容部分构成。与 DETR 类似,每个查询(其位置与内容特征)逐层自然更新。其可见性由更新后的内容特征进行预测。属于同一跟踪点的查询可通过沿时间维度的自注意力机制进行信息交互。由于上述所有操作均在 DETR 类算法中经过精心设计,因此该模型在概念上极为简洁。我们还采用了诸如光流模型中的代价卷积等有效设计,并开发了简洁的设计以提供长时间跨度的时间信息,同时缓解特征漂移问题。我们的框架在多个 TAP 数据集上展现出强劲的性能,达到了当前最优(state-of-the-art)水平,并具有更快的推理速度。
引用
@article{arxiv.2403.13042,
title = {TAPTR: Tracking Any Point with Transformers as Detection},
author = {Hongyang Li and Hao Zhang and Shilong Liu and Zhaoyang Zeng and Tianhe Ren and Feng Li and Lei Zhang},
journal= {arXiv preprint arXiv:2403.13042},
year = {2024}
}