利用具有跨边模态注意力的图神经网络进行三维多目标跟踪
计算机视觉与模式识别
2022-05-17 v2 机器学习
机器人学
摘要
在线三维多目标跟踪（MOT）近年来受到显著研究关注，很大程度上由自主系统社区的需求驱动。然而，三维离线 MOT 探索相对较少。在不依赖高成本人类专家的情况下大规模标注三维轨迹场景数据，仍是一个开放的研究问题。在本工作中，我们提出 Batch3DMOT，其遵循检测即跟踪范式，并将真实世界场景表示为有向、无环且类别不相交的跟踪图，这些图利用相机、LiDAR 和雷达等多种模态进行属性标注。我们提出一种多模态图神经网络，其使用跨边注意力机制缓解模态间歇性，这在图域中表现为稀疏性。此外，我们提出基于帧级 k-NN 邻域的注意力加权卷积，作为允许断开图组件间信息交换的合适手段。我们在具挑战性的 nuScenes 和 KITTI 数据集上使用多种传感器模态与模型配置评估我们的方法。大量实验表明，我们所提方法在 nuScenes 的 AMOTA 分数上取得 3.3% 的总体提升，从而确立了三维跟踪的新 SOTA，并进一步增强了假阳性过滤。
引用
@article{arxiv.2203.10926,
title = {3D Multi-Object Tracking Using Graph Neural Networks with Cross-Edge Modality Attention},
author = {Martin Buchner and Abhinav Valada},
journal= {arXiv preprint arXiv:2203.10926},
year = {2022}
}
备注
12 pages, 7 figures