从抓取到灵巧性：面向灵巧操作的大规模抓取预训练

大规模灵巧抓取数据集编码了丰富的手-物交互先验，但其使用在很大程度上局限于抓取生成和拾放操作。我们研究此类数据是否能够支持铰接工具使用中的功能性灵巧性，其中机器人必须获取工具、保持接触并操作其功能性运动部件。我们采用了一种层次化模仿学习框架，该框架将高层手部子目标预测与低层目标条件控制器相结合。我们从大规模灵巧抓取注释构建了一个包含 355k 条轨迹的抓取预训练数据集，并用其预训练低层控制器。然后在下游任务演示上对控制器进行微调。为了评估这一设置，我们引入了 DexCraft，一个包含六个需要协调手指运动的铰接工具使用任务的模拟基准。在模拟和真实世界实验中，我们的方法优于端到端扩散策略基线和从头训练的层次化策略。在真实世界中，它将完整任务成功率比 DP3 提高了 33.3 个百分点。这些结果表明，抓取数据集不仅可以作为抓取合成的资源，还可以作为接触丰富的灵巧操作的可扩展预训练数据。视频见 https://yingyuan0414.github.io/grasp2dexterity/ 。