G-HOP：用于交互重建与抓取合成的生成式手物先验
计算机视觉与模式识别
2024-04-19 v1
摘要
我们提出了 G-HOP，一种基于去噪扩散的手物交互生成式先验，允许以物体类别为条件对 3D 物体和人手进行建模。为了学习能够捕获这种联合分布的 3D 空间扩散模型，我们通过骨骼距离场表示人手，以获得与物体的（潜在）符号距离场对齐的表示。我们表明，这种手物先验随后可以作为通用引导，促进其他任务，如从交互片段进行重建和人手抓取合成。我们相信，通过聚合跨越 155 个类别的七个多样化真实世界交互数据集训练的模型，代表了首个允许联合生成手和物体的方法。我们的实证评估证明了这种联合先验在基于视频的重建和人手抓取合成中的优势，优于当前特定任务的基线方法。项目网站：https://judyye.github.io/ghop-www
引用
@article{arxiv.2404.12383,
title = {G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis},
author = {Yufei Ye and Abhinav Gupta and Kris Kitani and Shubham Tulsiani},
journal= {arXiv preprint arXiv:2404.12383},
year = {2024}
}
备注
accepted to CVPR2024; project page at https://judyye.github.io/ghop-www