通过多类型手势语句向机器人伴侣传达人类意图

家庭与工业工作空间中的人机协作正在增加。然而，机器人与人类之间的通信是一大瓶颈。尽管人们使用不同类型的手势组合来补充语音，但仅有少数机器人系统利用手势进行通信。在本文中，我们提出一种手势伪语言，并展示如何组合多种类型的手势向机器人表达人类意图（即表达期望的动作及其参数——例如指向某物体并示意应将其倒入碗中）。所演示的手势与感知到的桌面场景（由 CosyPose 检测到的物体位姿）被实时处理以提取人类意图。我们利用行为树生成反应性机器人行为，可处理世界的各种可能状态（例如抽屉须先打开才能放入物体）并从错误中恢复（例如场景改变时）。此外，我们的系统能够在末端执行器的直接遥操作与使用所提手势语句的高级操作之间切换。该系统在使用真实 7-DoF Franka Emika Panda 机械臂的渐趋复杂的任务上进行了评估。相比直接遥操作，通过动作手势控制机器人将执行时间缩短了至多 60%。