TypeTele：通过力学操纵类型释放遥操作中的灵活性

灵活遥操作在机器人操作中在实际数据收集和远程机器人控制方面发挥着关键作用。以往的灵活遥操作主要依赖手部重定位来 closely 模拟人手姿态。然而，这些方法可能未充分发挥灵活手的内在灵活性，这些手的结构优势使得其能够执行与人手不同的独特动作。为解决这一限制，我们提出TypeTele—a一种类型导向的灵活遥操作系统，使灵活手能够执行不受人类运动模式约束的动作。通过在遥操作系统中引入灵活操纵类型，允许操作员使用合适的类型来完成特定任务。为支持该系统，我们构建了一个可扩展的灵活操纵类型库，以涵盖操纵任务中使用的各种灵活姿态。在遥操作期间，我们采用由多模态大语言模型(MLLM)辅助的类型检索模块，基于特定任务和操作员命令识别最合适的操纵类型。大量现实世界遥操作和模仿学习实验表明，操纵类型的融入显著充分发挥了灵活机器人执行多样和复杂任务的能力，成功率显著提高。