从感知到符号任务规划：面向人类-机器人协作结构装配的视觉-语言引导
机器人学
2026-01-06 v1
摘要
人类-机器人协作 (HRC) 在结构装配中需要可靠的状态估计和在噪声感知和人类干预下的自适应任务规划。为此，我们引入了一个以人类感知为导向的人类意识规划框架，用于人类-机器人协作结构装配。该框架由两个耦合模块组成。模块 I (Perception-to-Symbolic State, PSS) 使用基于视觉-语言模型 (VLM) 的智能体，将 RGB-D 观察与设计规范和领域知识对齐，合成可验证的符号装配状态。它输出经过验证的已安装和未安装组件集合，用于在线状态跟踪。模块 II (Human-Aware Planning and Replanning, HPR) 执行任务级别的多机器人分配，并仅在观察到的状态偏离预期执行结果时更新计划。它应用最小更改重新规划规则，以在人类干预下选择性修订任务分配并保持计划稳定性。我们在 27 组件的木架构装配中验证了该框架。PSS 模块实现了 97% 的状态合成准确率，HPR 模块在各种 HRC 场景中维持可行的任务进度。结果表明，将 VLM-based 感知与知识驱动的规划集成可提高动态条件下状态估计和任务规划的鲁棒性。
引用
@article{arxiv.2601.00978,
title = {From Perception to Symbolic Task Planning: Vision-Language Guided Human-Robot Collaborative Structured Assembly},
author = {Yanyi Chen and Min Deng},
journal= {arXiv preprint arXiv:2601.00978},
year = {2026}
}