在真实场景中重建手-物体交互
计算机视觉与模式识别
2022-01-03 v2
摘要
在本工作中，我们探索在真实场景（in the wild）中重建手-物体交互。该问题的核心挑战是缺乏合适的 3D 标注数据。为克服这一问题，我们提出了一种基于优化的流程，无需直接的 3D 监督。我们采用的通用策略是利用所有可用的相关数据（2D 边界框、2D 手部关键点、2D 实例掩码、3D 物体模型、3D 实验室动作捕捉数据）为 3D 重建提供约束。我们并非单独优化手和物体，而是联合优化二者，从而能够基于手-物体接触、碰撞和遮挡施加额外的约束。我们的方法在来自 EPIC Kitchens 和 100 Days of Hands 数据集的具有挑战性的真实场景数据上，针对一系列物体类别生成了令人信服的重建结果。在定量上，我们证明了在存在真实 3D 标注的实验室设置中，我们的方法优于现有方法。
引用
@article{arxiv.2012.09856,
title = {Reconstructing Hand-Object Interactions in the Wild},
author = {Zhe Cao and Ilija Radosavovic and Angjoo Kanazawa and Jitendra Malik},
journal= {arXiv preprint arXiv:2012.09856},
year = {2022}
}
备注
Project page: https://people.eecs.berkeley.edu/~zhecao/rhoi/