迈向点云三维单目标跟踪的类别统一
计算机视觉与模式识别
2024-09-10 v2
摘要
特定类别的模型已被证明是三维单目标跟踪（SOT）中有价值的方法，无论其采用孪生还是以运动为中心的范式。然而，这种过度特化的模型设计导致了参数冗余，从而限制了 3D SOT 任务的更广泛适用性。本文首次引入了统一模型，该模型能够使用具有共享模型参数的单一网络同时跟踪所有类别的目标。具体而言，我们提出显式地编码与不同目标类别相关的独特属性，使模型能够适应跨类别数据。我们发现点云目标的属性差异主要源于大小和形状的变化（例如，大而方形的车辆对比小而细长的人类）。基于这一观察，我们设计了一种继承 Transformer 架构的新型点集表示学习网络，称为 AdaFormer，它以统一的方式自适应地编码跨类别数据中动态变化的形状和大小信息。我们进一步将从已知模板目标导出的尺寸和形状先验纳入模型的输入和学习目标中，以促进统一表示的学习。基于这些设计，我们构建了两个类别统一模型 SiamCUT 和 MoCUT。大量实验表明，SiamCUT 和 MoCUT 表现出强大的泛化能力和训练稳定性。此外，我们的类别统一模型以显著优势超越了特定类别的对应模型（例如，在 KITTI 数据集上，孪生和运动范式分别获得了 12% 和 3% 的性能提升）。我们的代码将公开提供。
引用
@article{arxiv.2401.11204,
title = {Towards Category Unification of 3D Single Object Tracking on Point Clouds},
author = {Jiahao Nie and Zhiwei He and Xudong Lv and Xueyi Zhou and Dong-Kyu Chae and Fei Xie},
journal= {arXiv preprint arXiv:2401.11204},
year = {2024}
}