同步三维物体分割与六自由度位姿估计

我们提出了一种基于“一点仅属于一物体”这一共识的单次方法，用于在纯三维点云场景中同步进行三维物体分割与六自由度（6-DOF）位姿估计，即每个点都有预测其对应物体 6-DOF 位姿的潜在能力。不同于近期提出的类似任务方法依赖 2D 检测器预测三维边界框三维角点的投影、且必须通过类 PnP 的空间变换方法估计 6-DOF 位姿，我们的方法足够简洁，无需在不同维度间进行额外空间变换。由于许多物体缺乏训练数据，近期提出的 2D 检测方法尝试利用渲染引擎生成训练数据并取得了良好结果。然而，在三维空间连同 6-DOF 下进行渲染相对困难。因此，我们提出一种增强现实技术，在半虚拟现实三维空间中生成训练数据。我们方法的关键组件是一个多任务 CNN 架构，可同时在纯三维点云中预测三维物体分割与 6-DOF 位姿估计。在实验评估中，我们利用增强现实技术（AR）为两个前沿三维物体数据集 \cite{PLCHF}\cite{TLINEMOD} 生成了扩展训练数据。我们在这两个数据集上评估了所提方法。结果表明，我们的方法能良好泛化至多种场景，并提供可与前沿方法媲美或更优的性能。