基于物理柔顺性与控制器切换的语言条件多指灵巧操作

人类的灵巧性源于高层任务推理、手指级灵巧控制以及肌肉和皮肤层面的物理柔顺性的结合。在机器人领域，大型视觉-语言-动作（VLA）模型展示了跨多种操作任务的文本条件高层规划能力，通常使用夹爪。相反，较小的模仿学习策略在使用更高自由度（DoF）夹爪的灵巧任务中表现出色，但仅限于任务范围有限的情况。然而，很少有方法能将高层推理与灵巧、稳健的低层控制相结合，这需要智能控制和柔顺的机器人设计。我们提出了一种受人类运动控制双通道假说启发的方法，通过一个切换控制器整合高层VLA模型和较小的控制模型，从而结合这些能力。两个通道之间的协调由一个事件驱动的切换机制管理，该机制监控子任务进度和完成情况，只需最少的演示数据，通过微调VLA来预测事件信号，并训练轻量级的子任务级灵巧策略。该方法应用于我们定制的、具有13个自由度的拟人柔顺机械手，其中柔顺性可以被调节，以评估其与自主策略结合时对灵巧性和鲁棒性的影响。我们表明，机器人手指的硬件级柔顺性能够被动适应干扰并提高接触稳定性。该方法在一系列语言条件下的灵巧任务中得到了验证。为了展示模块化，我们表明，无需重新训练VLA模型，即可适应额外的灵巧技能和不同的柔顺机械手。这为灵巧性提供了一种可扩展、跨本体的方法，在利用柔顺性的同时保留了大型AI模型的优势。