孪生自然语言跟踪器：基于孪生跟踪器与自然语言描述的目标跟踪
计算机视觉与模式识别
2021-04-07 v2
摘要
我们提出了一种新颖的孪生自然语言跟踪器（SNLT），它将视觉跟踪的进展引入到基于自然语言（NL）描述的目标跟踪任务中。所提出的 SNLT 适用于广泛的孪生跟踪器，为 NL 跟踪任务提供了一类新的基线，并有望从孪生跟踪器的进展中获得未来改进。我们引入了精心设计的孪生自然语言区域提议网络（SNL-RPN）架构，以及视觉与语言模态的动态聚合，以执行 NL 跟踪任务。在带有 NL 标注的跟踪基准上的实证结果表明，所提出的 SNLT 以轻微的速度折损为代价，将孪生跟踪器提升了 3 到 7 个百分点。所提出的 SNLT 优于迄今为止所有 NL 跟踪器，并在 LaSOT 基准上于最先进实时跟踪器中具有竞争力，同时在单块 GPU 上以每秒 50 帧运行。
引用
@article{arxiv.1912.02048,
title = {Siamese Natural Language Tracker: Tracking by Natural Language Descriptions with Siamese Trackers},
author = {Qi Feng and Vitaly Ablavsky and Qinxun Bai and Stan Sclaroff},
journal= {arXiv preprint arXiv:1912.02048},
year = {2021}
}
备注
CVPR 2021