BEHAVE：用于跟踪人-物交互的数据集与方法

Bharat Lal Bhatnagar; Xianghui Xie; Ilya A. Petrov; Cristian Sminchisescu; Christian Theobalt; Gerard Pons-Moll

BEHAVE：用于跟踪人-物交互的数据集与方法

计算机视觉与模式识别 2022-04-15 v1

作者: Bharat Lal Bhatnagar , Xianghui Xie , Ilya A. Petrov , Cristian Sminchisescu , Christian Theobalt , Gerard Pons-Moll

在 arXiv 上查看 ↗ PDF ↗

摘要

对自然环境中人与物体之间交互的建模是许多应用的核心，包括游戏、虚拟与混合现实，以及人类行为分析和人机协作。这一具有挑战性的操作场景需要对大量物体、场景和人体动作泛化。遗憾的是，目前不存在这样的数据集。此外，此类数据需在多样的自然环境中采集，这排除了4D扫描仪和基于标记的动作捕捉系统。我们提出BEHAVE数据集，首个具有多视角RGBD帧及相应3D SMPL和物体拟合、并带有二者之间标注接触的全身体人-物交互数据集。我们在5个地点记录了约15k帧，8名受试者与20个常见物体进行广泛交互。我们利用该数据学习一个模型，可通过易用的便携式多相机装置在自然环境中联合跟踪人体和物体。我们的关键思路是预测从人体和物体到统计身体模型的对应，以获取交互过程中的人-物接触。我们的方法不仅能记录和跟踪人体与物体，还能以表面接触形式建模并跟踪其在3D中的交互。我们的代码和数据见：http://virtualhumans.mpi-inf.mpg.de/behave

关键词

人-物交互 RGBD数据集多视角跟踪 SMPL模型表面接触三维重建自然环境

引用

@article{arxiv.2204.06950,
  title  = {BEHAVE: Dataset and Method for Tracking Human Object Interactions},
  author = {Bharat Lal Bhatnagar and Xianghui Xie and Ilya A. Petrov and Cristian Sminchisescu and Christian Theobalt and Gerard Pons-Moll},
  journal= {arXiv preprint arXiv:2204.06950},
  year   = {2022}
}

备注

Accepted at CVPR'22

BEHAVE：用于跟踪人-物交互的数据集与方法

摘要

关键词

引用

备注

相关论文