在稀疏点云中利用更多信息用于三维单目标跟踪
计算机视觉与模式识别
2022-10-04 v1
摘要
三维单目标跟踪是三维计算机视觉中的关键任务。然而，点云的稀疏性使得计算相似度与定位目标变得困难，给三维跟踪器带来巨大挑战。先前的工作试图解决该问题并在一些常见场景中提升了跟踪性能，但它们通常在一些极端稀疏场景中失败，例如跟踪远距离或部分遮挡的物体。为解决上述问题，在本文中，我们提出了一种用于三维单目标跟踪的稀疏到稠密且基于 transformer 的框架。首先，我们将三维稀疏点转换为三维 pillars，然后将其压缩为二维 BEV 特征以获得稠密表示。接着，我们提出一种基于注意力的编码器来实现模板与搜索分支间的全局相似度计算，从而缓解稀疏性的影响。同时，该编码器在多尺度特征上应用注意力以补偿由点云稀疏性与特征单尺度所导致的信息缺失。最后，我们通过同样利用注意力的两阶段解码器使用集合预测来跟踪目标。大量实验表明，我们的方法在 KITTI 与 NuScenes 数据集上取得了非常有前景的结果。
引用
@article{arxiv.2210.00519,
title = {Exploiting More Information in Sparse Point Cloud for 3D Single Object Tracking},
author = {Yubo Cui and Jiayao Shan and Zuoxu Gu and Zhiheng Li and Zheng Fang},
journal= {arXiv preprint arXiv:2210.00519},
year = {2022}
}
备注
Accepted for publication at IEEE Robotics and Automation Letters (RAL)