反思式VLM规划：构建开放词汇感知与精确操作之间的桥梁用于双臂桌面清洁
机器人学
2025-06-24 v1
摘要
桌面清洁需求开放词汇识别与精确操作以应对异构碎片。我们提出一种层次化框架，将反思式视觉语言模型（VLM）规划与通过结构化场景表征的双臂执行集成。Grounded-SAM2实现开放词汇检测，记忆增强型VLM生成、批判并修订操作序列。这些序列被转换为用于执行五种基本操作的参量轨迹，由协调的Franka机械臂执行。在模拟场景中评估，我们的系统实现了87.2%任务完成率，相对于静态VLM提升28.8%，相对于单臂基线提升36.2%。结构化记忆集成对于实现稳健、可泛化的操作至关重要，同时保持实时控制性能。
引用
@article{arxiv.2506.17328,
title = {Reflective VLM Planning for Dual-Arm Desktop Cleaning: Bridging Open-Vocabulary Perception and Precise Manipulation},
author = {Yufan Liu and Yi Wu and Gweneth Ge and Haoliang Cheng and Rui Liu},
journal= {arXiv preprint arXiv:2506.17328},
year = {2025}
}