PVT++：一种简单的端到端延迟感知视觉跟踪框架

视觉目标跟踪对智能机器人至关重要。现有多数方法忽视了在线延迟，而后者在真实世界处理中会导致严重的性能退化。尤其对于无人机(UAV)，其鲁棒跟踪更具挑战且机载计算受限，延迟问题可能是致命的。本工作中，我们提出一种用于端到端延迟感知跟踪的简单框架，即端到端预测视觉跟踪(PVT++)。不同于在跟踪器后朴素追加卡尔曼滤波的现有方案，PVT++可联合优化，从而不仅利用运动信息，还能借助大多数预训练跟踪器模型中的丰富视觉知识进行鲁棒预测。此外，为弥合训练-评估域间隙，我们提出相对运动因子，使PVT++能泛化至具挑战性的复杂无人机跟踪场景。这些精心设计使小容量轻量级PVT++成为广泛有效的解决方案。另外，本工作提出一种扩展的延迟感知评估基准，用于在线设定下评估任意速度跟踪器。基于空中视角的机器人平台实证结果表明，PVT++能在多种跟踪器上取得显著性能提升，并展现出高于先前方案的精度，大幅缓解了延迟带来的退化。