FlowAct: 一种具有连续感知流和模块化动作子系统的主动式多模态人机交互系统

在人机交互系统背景下，自主系统的演进需要环境连续感知与在其中导航或交互的潜在动作之间的协同。我们提出了Flowact，一种主动式多模态人机交互架构，它作为一个异步的、从机器人传感器到执行器的无限循环运行，并由两个控制器组织：环境状态跟踪器（EST）和动作规划器。EST持续收集并发布操作环境的表示，确保感知数据的稳定流动。这种持续的感知流对于我们先进的动作规划器至关重要，该规划器协调一系列模块化动作子系统（例如移动和说话模块），根据不断变化的环境叙事来控制它们的启动或停止。EST融合了多种感官模态，以构建丰富的、实时的环境表示，并将其分发给动作规划器。该规划器使用一个决策框架来动态协调动作模块，使它们能够主动且连贯地响应环境变化。通过一系列真实世界实验，我们展示了该系统在维持连续感知-动作循环方面的有效性，显著增强了自主主动代理的响应性和适应性。动作子系统的模块化架构便于轻松扩展和适应广泛的任务和场景。