HMDO：基于可形变物体的无标记多视角手部操作捕捉
计算机视觉与模式识别
2023-01-19 v1
摘要
我们构建了首个记录手部与可形变物体交互运动的无标记可形变交互数据集，称为 HMDO（Hand Manipulation with Deformable Objects，基于可形变物体的手部操作）。借助我们搭建的多视角捕捉系统，该数据集从多个视角、不同物体形状以及多样的交互形式捕捉可形变交互过程。我们的研究动机在于当前缺乏手部与可形变物体交互数据集，因为三维手部与可形变物体重建具有挑战性。主要由于相互遮挡，交互区域难以观测、手部与物体间的视觉特征相互纠缠，且交互区域形变的重建十分困难。为应对这一挑战，我们提出了一种对所捕捉数据进行标注的方法。我们的核心思路是协同估计的手部特征以引导物体全局姿态估计，进而通过分析手部与物体间的关系优化物体的形变过程。通过综合评估，所提方法能够高质量地重建手部与可形变物体的交互运动。HMDO 目前包含 12 个序列共 21600 帧。未来，该数据集有望推动基于学习的可形变交互场景重建研究。
引用
@article{arxiv.2301.07652,
title = {HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable Objects},
author = {Wei Xie and Zhipeng Yu and Zimeng Zhao and Binghui Zuo and Yangang Wang},
journal= {arXiv preprint arXiv:2301.07652},
year = {2023}
}