利用合成数据在点云中进行人体三维分割
计算机视觉与模式识别
2023-08-21 v4
摘要
随着以人为中心的机器人与AR/VR应用的兴起，在三维室内场景中分割人体变得愈发重要。为此，我们提出联合三维人体语义分割、实例分割与多人身体部位分割任务。极少有工作尝试直接在杂乱三维场景中分割人体，这主要由于缺少人与三维场景交互的标注训练数据。我们应对此挑战，提出一个生成合成人与真实三维场景交互训练数据的框架。此外，我们提出一种新颖的基于transformer的模型Human3D，它是首个以统一方式分割多个人体实例及其身体部位的端到端模型。我们合成数据生成框架的关键优势在于能生成多样且逼真的人-场景交互，并带有高精度真值。我们的实验表明，在合成数据上预训练可提升多种三维人体分割任务的性能。最后，我们证明Human3D甚至优于特定任务的最先进三维分割方法。
引用
@article{arxiv.2212.00786,
title = {3D Segmentation of Humans in Point Clouds with Synthetic Data},
author = {Ayça Takmaz and Jonas Schult and Irem Kaftan and Mertcan Akçay and Bastian Leibe and Robert Sumner and Francis Engelmann and Siyu Tang},
journal= {arXiv preprint arXiv:2212.00786},
year = {2023}
}
备注
project page: https://human-3d.github.io/