HOGraspFlow：面向多模态 SE(3) 抓取生成的基于类别感知的手-物体重定位
机器人学
2026-02-12 v2
摘要
我们提出了 Hand-Object (HO)GraspFlow，一种基于功能性的ethods，它将单个 RGB 图像及手-物体交互 (HOI) 重定向为多模态可执行的夹爪抓取，无需对目标物体显式的几何先验。基于手部重建和视觉基础模型，我们合成 抓取姿态，采用去噪流匹配 (denoising flow matching, FM)， conditioned on 以下三个互补线索：RGB 基础特征作为视觉语义、HOI 接触重建、以及类别感知的抓取类型先验。该方法在无需显式 HOI 接触输入或物体几何信息的情况下，实现了高保真度的抓取合成，同时保持强大的接触和类别识别。另一项受控比较表明，HOGraspFlow 持续优于基于扩散的变体 (HOGraspDiff)，实现了更高的分布保真度和更稳定的 优化。我们在真实世界实验中演示了一种可靠的、无物体依赖的抓取合成，平均成功率超过 83%。代码：https://github.com/YitianShi/HOGraspFlow
引用
@article{arxiv.2509.16871,
title = {HOGraspFlow: Taxonomy-Aware Hand-Object Retargeting for Multi-Modal SE(3) Grasp Generation},
author = {Yitian Shi and Zicheng Guo and Rosa Wolf and Edgar Welte and Rania Rayyes},
journal= {arXiv preprint arXiv:2509.16871},
year = {2026}
}
备注
Accepted to ICRA 2026