Cybo-Waiter：面向人形全身运动-操作的物理智能体框架
机器人学
2026-03-12 v1
摘要
机器人正越来越期望在人类环境中执行开放式自然语言请求，这要求在部分可观测性下实现可靠的长期 horizon 执行。这一点尤其对人形机器人而言具有挑战性，因为运动与操作紧密耦合，通过站姿、可达性和平衡。我们提出的人形智能体框架将 VLM 计划转化为可验证的任务程序，并通过多对象 3D 几何监督实现闭环。VLM 规划器将每个指令编译为带有显式基于谓词的前置条件和成功条件的类型化 JSON 子任务序列。利用 SAM3 和 RGB-D，我们对所有任务相关实体进行 3D grounding，估计物品的质心与尺寸，并在稳定帧上评估谓词以获得条件水平诊断。监督器利用这些诊断验证子任务完成情况，并为进度和重规划提供条件水平反馈。我们通过协调人形 locomotion 与全身操作来执行每个子任务，选择在可达性和平衡约束下的可行运动原语。在桌面操作和长期人形 loco 操作任务实验中，表明多对象 grounding、时间稳定性和驱动的重规划显著提升了鲁棒性。
引用
@article{arxiv.2603.10675,
title = {Cybo-Waiter: A Physical Agentic Framework for Humanoid Whole-Body Locomotion-Manipulation},
author = {Peng Ren and Haoyang Ge and Chuan Qi and Cong Huang and Hong Li and Jiang Zhao and Pei Chi and Kai Chen},
journal= {arXiv preprint arXiv:2603.10675},
year = {2026}
}