基于 Transformer 的三维目标跟踪

特征融合与相似度计算是三维目标跟踪中的两个核心问题，尤其在使用稀疏且无序点云的目标跟踪中。特征融合可通过引入目标物体信息使相似度计算更高效。然而，现有大多数基于 LiDAR 的方法直接利用提取的点云特征计算相似度，忽略了跟踪过程中物体区域的注意力变化。本文提出一种基于 transformer 架构的特征融合网络。得益于自注意力机制，transformer 编码器捕捉点云不同区域间的内部与相互关系。通过交叉注意力，transformer 解码器融合特征并将更多目标线索注入当前点云特征以计算区域注意力，从而使相似度计算更高效。基于该特征融合网络，我们提出一种端到端的点云目标跟踪框架，一种简洁而有效的点云三维目标跟踪方法。在 KITTI 数据集上的综合实验结果表明，我们的方法取得了新的 state-of-the-art 性能。代码见：https://github.com/3bobo/lttr。