面向模糊指令的感知驱动的交互式决策与执行

使机器人能够在模糊的人类指令下探索并行动于陌生环境——例如通过识别“我渴了”中与饮料相关的物体——仍是现有视觉语言模型 (VLM) 方法面临的挑战。这一挑战源于推理效率低且缺乏环境交互，阻碍了实时任务规划与执行。为此，我们提出感知驱动的交互式决策与执行框架 AIDE (Affordance-Aware Interactive Decision-Making and Execution for Ambiguous Instructions)，包含两个流：多阶段推理 (MSI) 作为决策流，加速决策 (ADM) 作为执行流，实现零样本感知分析和对模糊指令的解释。大量在仿真和真实环境中的实验表明，AIDE 在任务规划成功率超过 80%，在闭环连续执行中达到 95% 以上的准确率，维持 10 Hz 的执行频率，显著优于现有 VLM 方法在多样化开放世界情景下的表现。