Robi Butler: 多模态远程人机交互

设想未来我们可以像Zoom通话一样远程调用机器人来处理家务琴事。本工作迈出了这一步的一步。Robi Butler是一种新的家庭机器人助手，支持无缝的多模态远程交互。它允许用户从第一人称视角监控环境，发出语音或文本指令，并通过手势指点目标对象。其核心是一个高层次的行为模块，由大型语言模型 (LLM) 提供支持，解释多模态指令以生成多步骤行动计划。每个计划由开放词汇原语组成，这些原语由视觉语言模型支持，使机器人能够处理文本和手势输入。Zoom提供了实现人机远程交互的便捷接口。这些组件的集成使Robi Butler能够以零样本方式将远程多模态指令在真实家庭环境中落地。我们在各种家务任务上对系统进行了评估，展示了其能够执行具有多模态输入的复杂用户命令的能力。我们还进行了用户研究，探讨了多模态交互如何影响远程人机交互的用户体验。这些结果表明，随着机器人基础模型的进步，我们正逐步接近远程家庭机器人助手的现实。