GLT-T++：基于全局-局部 Transformer 与排序损失的 3D 孪生跟踪方法
计算机视觉与模式识别
2023-12-19 v2
摘要
基于 3D 区域提议网络（RPN）的孪生跟踪器借助深度霍夫投票已展现出显著成功。然而，使用单一种子点特征作为投票线索无法产生高质量的 3D 提议。此外，在投票过程中对种子点不论重要性而同等对待，进一步加剧了该局限。为应对这些挑战，我们提出一种新颖的基于 Transformer 的投票方案以生成更好的提议。具体而言，设计了一个全局-局部 Transformer（GLT）模块，将目标感知与块感知的几何先验整合进种子点特征，从而为种子点的偏移学习提供鲁棒且准确的线索。为训练 GLT 模块，我们引入一个重要性预测分支，学习种子点的潜在重要性权重作为训练约束。将该基于 Transformer 的投票方案整合进 3D RPN，开发了一种称为 GLT-T 的新颖孪生方法，用于点云上的 3D 单目标跟踪。此外，我们认识到在孪生范式下得分最高的提议未必是最准确的提议，这限制了跟踪性能。针对此问题，我们将二元分数预测任务视为排序问题，并设计目标感知排序损失与定位感知排序损失以产生准确的提议排序。借助这些排序损失，我们进一步提出 GLT-T 的增强版本 GLT-T++。在多个基准上的大量实验表明，我们的 GLT-T 与 GLT-T++ 在跟踪精度上优于当前最优（SOTA）方法，同时保持实时推理速度。源代码将发布于 https://github.com/haooozi/GLT-T。
引用
@article{arxiv.2304.00242,
title = {GLT-T++: Global-Local Transformer for 3D Siamese Tracking with Ranking Loss},
author = {Jiahao Nie and Zhiwei He and Yuxiang Yang and Xudong Lv and Mingyu Gao and Jing Zhang},
journal= {arXiv preprint arXiv:2304.00242},
year = {2023}
}
备注
Need further revision