面向空中目标跟踪的目标感知双向融合Transformer
计算机视觉与模式识别
2025-03-14 v1
摘要
基于轻量级神经网络的跟踪器在空中遥感领域取得了很大成功，大多数方法聚合多阶段深度特征以提升跟踪质量。然而，现有算法通常只为状态决策生成单阶段融合特征，忽略了不同类型的特征对于识别和定位目标所需的多样性，限制了跟踪的鲁棒性和精度。本文提出一种新型的目标感知双向融合Transformer(BFTrans)用于无人机跟踪。具体而言，我们首先提出一种基于线性自注意力和交叉注意力的双流融合网络，可以结合前向和后向方向的浅层和深层特征，为定位提供调整后的局部细节，为识别提供全局语义。此外，设计了一种针对上述融合模型的目标感知位置编码策略，有助于在融合阶段感知与目标相关的属性。最后，在几个流行的无人机基准测试（包括UAV-123、UAV20L和UAVTrack112）上评估了所提方法。大量实验结果表明，我们的方法在其他最先进跟踪器基础上取得了超越，仅用嵌入式平台即可以平均30.5 FPS的速度运行，适合实际无人机部署。
引用
@article{arxiv.2503.09951,
title = {Target-aware Bidirectional Fusion Transformer for Aerial Object Tracking},
author = {Xinglong Sun and Haijiang Sun and Shan Jiang and Jiacheng Wang and Jiasong Wang},
journal= {arXiv preprint arXiv:2503.09951},
year = {2025}
}