GSOT3D：野生环境中通用 3D 单对象跟踪

本文提出一种新型基准，GSOT3D，旨在促进野生环境中通用 3D 单对象跟踪（SOT）的开发。具体而言，GSOT3D 提供 620 个序列，包含 123K 帧，覆盖 54 个对象类别。每个序列均提供多种模态，包括点云（PC）、RGB 图像和深度图。这使 GSOT3D 能够支持各种 3D 跟踪任务，如基于点云的单模态 3D SOT 和基于 RGB-PC 或 RGB-D 的多模态 3D SOT，从而大幅拓宽 3D 对象跟踪的研究方向。为提供高质量的逐帧 3D 标注，所有序列均经过多轮仔细检查和细化标注。据我们了解，GSOT3D 是首个专注于各种通用 3D 对象跟踪任务的数据集。为了解现有 3D 跟踪器在 GSOT3D 上的表现，并为未来研究提供比较基准，我们评估了八个代表性基于点云的跟踪模型。我们的评估结果表明，这些模型在 GSOT3D 上的性能显著下降，仍需更多努力才能实现稳健且通用的 3D 对象跟踪。此外，为鼓励未来研究，我们提出一种简单而有效的通用 3D 跟踪器，命名为 PROT3D，通过渐进式时空网络定位目标对象，绰然超过当前所有解决方案。通过发布 GSOT3D，我们期望推动未来研究和应用中的 3D 跟踪技术发展。我们的基准、模型及评估结果将在网页 https://github.com/ailovejinx/GSOT3D 上公开。