学习手与被操作物体的联合重建
计算机视觉与模式识别
2019-04-12 v1
摘要
估计手-物体操作对于解释和模仿人类动作至关重要。先前工作在孤立状态下重建手部姿态和物体形状方面取得了显著进展。然而，由于手和物体均存在严重遮挡，在操作过程中重建手和物体是一项更具挑战性的任务。尽管存在挑战，操作也可能简化问题，因为接触的物理特性限制了有效手-物体构型的空间。例如，在操作过程中，手和物体应当接触但不相互穿透。在本工作中，我们利用操作约束来正则化手和物体的联合重建。我们提出了一个端到端可学习模型，该模型利用一种新颖的接触损失来偏好物理上合理的手-物体构型。我们的方法以 RGB 图像作为输入，在基线上改善了抓取质量指标。为了训练和评估该模型，我们还提出了一个新的大规模合成数据集 ObMan，其中包含手-物体操作。我们展示了在 ObMan 上训练的模型向真实数据的可迁移性。
引用
@article{arxiv.1904.05767,
title = {Learning joint reconstruction of hands and manipulated objects},
author = {Yana Hasson and Gül Varol and Dimitrios Tzionas and Igor Kalevatykh and Michael J. Black and Ivan Laptev and Cordelia Schmid},
journal= {arXiv preprint arXiv:1904.05767},
year = {2019}
}
备注
CVPR 2019