FLEX：无需全身抓取数据的全身抓取生成
机器人学
2023-03-30 v2 计算机视觉与模式识别
摘要
合成与现实场景真实交互的 3D 人体虚拟形象是一个重要问题，在 AR/VR、视频游戏和机器人技术中有应用。针对此目标，我们解决生成抓取日常物体的虚拟人体——手和全身——的任务。现有方法通过收集人类与物体交互的 3D 数据集并在此数据上训练来解决该问题。然而，1）这些方法不能泛化到不同的物体位置和方向，或场景中家具的存在，且 2）它们生成的全身姿态多样性非常有限。在本工作中，我们解决上述所有挑战，以在日常场景中生成真实、多样的全身抓取，而无需任何 3D 全身抓取数据。我们的关键见解是利用全身姿态和手部抓取先验的存在，使用 3D 几何约束组合它们以获得全身抓取。我们凭经验验证这些约束可以生成多种可行的人体抓取，在定量和定性上均优于基线。更多细节请见我们的网页：https://flex.cs.columbia.edu/。
引用
@article{arxiv.2211.11903,
title = {FLEX: Full-Body Grasping Without Full-Body Grasps},
author = {Purva Tendulkar and Dídac Surís and Carl Vondrick},
journal= {arXiv preprint arXiv:2211.11903},
year = {2023}
}
备注
CVPR 2023 Camera-ready