密集手-物体(HO)抓取网络：完整抓取分类与动力学
计算机视觉与模式识别
2024-09-09 v1
摘要
现有 3D 手-物体交互数据集要么在数据数量上有限，要么在交互情景的变异性不足，要么在标注质量方面有问题。本文提出了新的综合性训练数据集 HOGraspNet，用于手-物体交互。它是唯一一个捕获完整抓取分类的真实数据集，提供抓取标注和较大的类内变异。将抓取分类作为原子动作，其空间与时间的组合可表示围绕物体的复杂手部动作。我们从 YCB 数据集中选取 22 个刚性物体，以及 8 个其他复合物体，依据形状和尺寸分类，确保覆盖所有手部抓取配置。该数据集包括来自 99 名年龄在 10 至 74 岁之间的多样化手部形状、连续视频帧，以及 150 万帧 RGB-Depth 稀疏帧的标注。它提供了 3D 手部和物体网格、3D 关键点、接触图以及抓取标签。通过对手部参数模型 (MANO) 和手部隐函数 (HALO) 拟合多视角 RGBD 帧获得准确的手部和物体 3D 网格，仅对物体使用动作捕捉系统。HALO 拟合无需任何参数调优，因而能够以与 MANO 相当的准确度扩展到数据集的规模。我们在相关任务上评估了 HOGraspNet：抓取分类和 3D 手部姿态估计。结果显示根据抓取类型和物体类别表现出差异，表明我们数据集所捕获的交互空间的潜在重要性。提供的数据旨在学习通用形状先验或基础模型用于 3D 手-物体交互。我们的数据集和代码均可在 https://hograspnet2024.github.io/ 上获得。
引用
@article{arxiv.2409.04033,
title = {Dense Hand-Object(HO) GraspNet with Full Grasping Taxonomy and Dynamics},
author = {Woojin Cho and Jihyun Lee and Minjae Yi and Minje Kim and Taeyun Woo and Donghwan Kim and Taewook Ha and Hyokeun Lee and Je-Hwan Ryu and Woontack Woo and Tae-Kyun Kim},
journal= {arXiv preprint arXiv:2409.04033},
year = {2024}
}
备注
14 pages except for references. It will be published at European Conference on Computer Vision(ECCV) 2024