DeepHandMesh：一种用于高保真手部网格建模的弱监督深度编码器-解码器框架
计算机视觉与模式识别
2020-08-20 v1
摘要
人的手在与他人和物体交互中起着核心作用。为真实复现此类手部运动，必须重建高保真手部网格。在本研究中，我们首先提出 DeepHandMesh，一种用于高保真手部网格建模的弱监督深度编码器-解码器框架。我们将系统设计为以端到端和弱监督方式训练；因此，它不需要真实网格。相反，它依赖于较弱的监督如 3D 关节坐标和多视深度图，这些比真实网格更易获取且不依赖于网格拓扑。尽管所提 DeepHandMesh 以弱监督方式训练，它比先前全监督手部模型提供更显著真实的网格。我们新引入的穿透避免损失通过复现手部部件间的物理交互进一步改善结果。最后，我们证明我们的系统也可成功应用于从通用图像进行 3D 手部网格估计。我们的手部模型、数据集和代码公开于 https://mks0601.github.io/DeepHandMesh/。
引用
@article{arxiv.2008.08213,
title = {DeepHandMesh: A Weakly-supervised Deep Encoder-Decoder Framework for High-fidelity Hand Mesh Modeling},
author = {Gyeongsik Moon and Takaaki Shiratori and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2008.08213},
year = {2020}
}
备注
Published at ECCV 2020 (Oral)