基于可微姿态估计的三维多目标跟踪
计算机视觉与模式识别
2022-06-29 v1
摘要
我们提出了一种从室内环境 RGB-D 序列进行联合三维多目标跟踪与重建的新方法。为此，我们在每帧中检测并重建物体，同时预测到归一化物体空间的稠密对应映射。我们利用这些对应信息指导图神经网络求解所有物体最优的、时间一致的 7-DoF 姿态轨迹。我们方法的新颖性有两方面：首先，我们提出一种基于图的可微姿态估计新方法，随时间学习最优姿态轨迹；其次，我们给出沿时间轴的重建与姿态估计联合公式，以实现鲁棒且几何一致的多目标跟踪。为验证我们的方法，我们引入一个新的合成数据集，包含 2381 条独特室内序列，总计 60k 张渲染 RGB-D 图像，用于具有运动物体和源自合成 3D-FRONT 数据集的相机位姿的多目标跟踪。我们证明，相较现有 SOTA 方法，我们的方法将所有测试序列的累积 MOTA 分数提升了 24.8%。在合成与真实世界序列的若干消融实验中，我们展示了这种基于图、完全端到端可学习的方法带来了跟踪性能的显著提升。
引用
@article{arxiv.2206.13785,
title = {3D Multi-Object Tracking with Differentiable Pose Estimation},
author = {Dominik Schmauser and Zeju Qiu and Norman Müller and Matthias Nießner},
journal= {arXiv preprint arXiv:2206.13785},
year = {2022}
}
备注
Project page: https://domischmauser.github.io/3D_MOT/