使用单只灵巧手进行序列多物体抓取

使用多指手序列抓取多个物体在日常生活中很常见，人类可以充分利用手的灵巧性来包络多个物体。然而，物体几何形状的多样性以及高自由度手在抓取一个物体同时包络另一个物体时所需的复杂接触交互，使得机器人进行序列多物体抓取具有挑战性。在本文中，我们提出了 SeqMultiGrasp，一个使用四指 Allegro Hand 序列抓取物体的系统。我们专注于序列抓取两个物体，确保手在抬起前完全包络第一个物体，然后在不掉落第一个物体的情况下抓取第二个物体。我们的系统首先合成单物体抓取候选，其中每次抓取被限制为仅使用手部连杆的一个子集。然后在物理模拟器中验证这些抓取，以确保稳定性和可行性。接下来，我们合并已验证的单物体抓取位姿以构建多物体抓取配置。为了进行真实世界部署，我们训练了一个以点云为条件的扩散模型来提出抓取位姿，随后采用基于启发式的执行策略。我们在模拟中测试了 $8 \times 8$ 种物体组合，在真实世界中测试了 $6 \times 3$ 种物体组合。我们基于扩散的抓取模型在 1,600 次模拟试验中获得了 65.8% 的平均成功率，在 90 次真实世界试验中获得了 56.7% 的成功率，表明这是一种很有前景的多指手序列多物体抓取方法。补充材料可在我们的项目网站上获取：https://hesic73.github.io/SeqMultiGrasp。