RegionGrasp:用于接触区域可控手部抓取生成的新任务
计算机视觉与模式识别
2024-10-11 v1
摘要
机器能否自动生成给定 3D 物体特定表面区域作为接触区域的多个distinct且自然的手部抓取?这启发我们考虑一种新任务,即接触区域可控手部抓取生成(Region Controllable Hand Grasp Generation, RegionGrasp):给定 3D 物体及其选定为预期接触区域的特定表面区域,用于生成一组合理的手部抓取,其中拇指指尖触及物体表面上的接触区域。为解决此任务,提出了 RegionGrasp-CVAE,包含两个主要部分。首先,为实现接触区域感知,我们提出 ConditionNet 作为条件编码器,其中包括基于 transformer 架构的对象编码器 O-Enc;采用 O-Enc 的预训练策略,对物体表面的点块随机遮盖后再恢复,以进一步捕获物体表面几何信息。其次,为实现交互感知,引入 HOINet,通过几何感知的多头交叉注意力将高层手部特征与嵌入对象特征 entangled,以编码手部-对象交互特征。经验评估表明,我们的方法在定性和定量上都有效,结果显示其在与最先进方法的比较方面表现优异。
引用
@article{arxiv.2410.07995,
title = {RegionGrasp: A Novel Task for Contact Region Controllable Hand Grasp Generation},
author = {Yilin Wang and Chuan Guo and Li Cheng and Hai Jiang},
journal= {arXiv preprint arXiv:2410.07995},
year = {2024}
}
备注
Accepted for ECCV Workshop: HANDS@ECCV2024