GOAL：为手-物抓取生成 4D 全身运动
计算机视觉与模式识别
2023-03-20 v2
摘要
生成运动逼真的数字人具有许多应用且被广泛研究，但现有方法聚焦于身体主要肢体，忽略手与头。手已被单独研究，但焦点在于生成物体的逼真静态抓取。为合成与世界交互的虚拟角色，我们需要同时生成全身运动与逼真手部抓取。两个子问题本身均具挑战性，且 together 姿态的状态空间显著更大，手与身体运动尺度不同，且全身姿态与手部抓取必须一致、满足物理约束并合理。此外头也参与，因为化身必须注视物体以与之交互。我们首次解决生成抓取未知物体的化身全身、手与头运动的问题。我们的方法称为 GOAL，输入为一个 3D 物体、其位置以及起始 3D 身体姿态与形状。GOAL 使用两个新颖网络输出一系列全身姿态。首先，GNet 生成具有逼真身体、头、手臂与手部姿态以及手-物接触的全身抓取目标。其次，MNet 生成起始与目标姿态间的运动。这具挑战性，因要求化身以脚-地接触走向物体、将头朝向它、伸出并以前握手姿态与手-物接触抓取。为实现此，网络利用了结合 SMPL-X 身体参数与 3D 顶点偏移的表示。我们在 GRAB 数据集上定性与定量地训练和评估 GOAL。结果显示 GOAL 对未见物体泛化良好，优于基线。GOAL 朝合成逼真全身物体抓取迈进了一步。
引用
@article{arxiv.2112.11454,
title = {GOAL: Generating 4D Whole-Body Motion for Hand-Object Grasping},
author = {Omid Taheri and Vasileios Choutas and Michael J. Black and Dimitrios Tzionas},
journal= {arXiv preprint arXiv:2112.11454},
year = {2023}
}