使用人类演示进行近距离和触觉感知的工具使用技能few-shot迁移

工具延长了机器人操作的能力，正如它们为人类所做的那样。尽管人类在工具操作方面拥有专业知识，但教会机器人掌握这些技能仍面临挑战。这种复杂性源于两个同时点接触之间的相互作用：机器人与工具之间的接触，以及工具与环境之间的接触。触觉和近距离传感器在识别这些复杂接触方面发挥着关键作用。然而，由于有限的真实数据和较大的仿真-现实鸿沟，利用这些传感器学习工具操作仍然具有挑战性。为此，我们提出了一种使用多模态感知进行工具使用技能few-shot迁移的框架。该框架包括对底层策略进行预训练，以捕捉工具使用技能中常见的接触状态，并使用在真实目标域中收集的人类演示进行微调，以弥合域间差距。我们验证了这一框架能够在 Franka Emika 机器人臂上，以少量演示教会机器人使用具有不同物理和几何属性的工具完成表面跟随任务。我们的分析表明，机器人能够通过从预训练策略迁移识别工具-环境接触关系的能力，获得新的工具使用技能。此外，结合近距离和触觉传感器可以增强对接触状态和环境几何的识别。