基于注意力的位置更新机制提升 TAPTR 跟踪任意点能力
计算机视觉与模式识别
2025-05-12 v2 机器人学
摘要
本文提出TAPTRv2，一种基于注意力机制的Position Update（APU）方法，旨在改进TAPTR以解决Tracking Any Point（TAP）任务。TAPTR借鉴了DEtection TRansformer（DETR）的设计，将每个跟踪点表述为一个查询点（point query），从而可以利用DETR类算法中已广泛研究的运算。TAPTRv2通过解决其依赖于成本体积（cost-volume）的关键问题进行改进，该问题会污染查询点的内容特征，从而负面影响可见性预测和成本体积计算。在TAPTRv2中，我们提出了一种新型的基于注意力的位置更新（APU）操作，并采用关键感知可变形注意力实现。对于每个查询，该操作利用关键感知注意力权重将其对应的可变形采样位置组合，以预测新的查询位置。该设计基于这样一种观察：局部注意力本质上与成本体积相同，两者都通过查询与其周围特征之间的点积运算来计算。通过引入这一新操作，TAPTRv2不仅消除了成本体积计算的额外负担，还实现了显著的性能提升。TAPTRv2超过了TAPTR，在许多具有挑战性的数据集上实现了最好的性能，展示了其优越性。
引用
@article{arxiv.2407.16291,
title = {TAPTRv2: Attention-based Position Update Improves Tracking Any Point},
author = {Hongyang Li and Hao Zhang and Shilong Liu and Zhaoyang Zeng and Feng Li and Tianhe Ren and Bohan Li and Lei Zhang},
journal= {arXiv preprint arXiv:2407.16291},
year = {2025}
}