GEARS: 局部几何感知的手-物体交互合成
计算机视觉与模式识别
2024-05-14 v3
摘要
随着对数字人类兴趣的增长，生成与物体交互的逼真手部运动序列越来越受到关注。先前的工作已经证明了使用基于占用或基于距离的虚拟传感器来提取手-物体交互特征的有效性。然而，这些方法在物体类别、形状和大小上的泛化能力有限。我们假设这是由于两个原因：1）所用虚拟传感器的表达能力有限，2）可用训练数据的稀缺性。为了解决这一挑战，我们引入了一种新颖的以关节为中心的传感器，旨在推理潜在交互区域附近的局部物体几何。该传感器查询每个手关节邻域内的物体表面点。作为降低学习复杂性的重要一步，我们将点从全局坐标系变换到手模板坐标系，并使用共享模块处理每个关节的传感器特征。随后是一个时空变换网络，旨在捕捉不同维度关节之间的相关性。此外，我们设计了简单的启发式规则，用大量静态手抓取样本扩充有限的训练序列。这导致训练期间观察到的抓取类型范围更广，进而增强了我们模型的泛化能力。我们在两个公开数据集GRAB和InterCap上进行了评估，我们的方法在定量和感知上都显示出优于基线。
引用
@article{arxiv.2404.01758,
title = {GEARS: Local Geometry-aware Hand-object Interaction Synthesis},
author = {Keyang Zhou and Bharat Lal Bhatnagar and Jan Eric Lenssen and Gerard Pons-moll},
journal= {arXiv preprint arXiv:2404.01758},
year = {2024}
}