GenerativeMPC：面向双臂移动操作的 VLM-RAG 引导虚拟阻抗全身 MPC
机器人学
2026-04-22 v1
摘要
双臂移动操作要求高层语义推理与安全、柔顺的物理交互之间实现无缝集成——端到端模型以不透明方式处理这一挑战，而经典控制器则缺乏解决该问题的上下文。本文提出了 GenerativeMPC，一种分层信息物理框架，为双臂移动操作器显式地将语义场景理解与物理控制参数桥接起来。该系统利用带有检索增强生成的视觉语言模型（VLM-RAG）将视觉和语言上下文转化为接地的控制约束，具体为全身模型预测控制器（MPC）输出动态速度限制和安全裕度。同时，VLM-RAG 模块为统一的阻抗-导纳控制器调制虚拟刚度和阻尼增益，在人机交互期间实现上下文感知的柔顺性。我们的框架利用经验驱动的向量数据库，确保无需重新训练即可实现一致的参数接地。在 MuJoCo、IsaacSim 以及物理双臂平台上的实验结果证实，系统在人类附近将速度降低60%，并通过语义到物理参数的接地实现了安全、具备社会感知的导航与操作。这项工作通过将大规模认知模型接地到可预测的高频物理控制回路中，推动了以人为中心的信息控制学领域的发展。
引用
@article{arxiv.2604.19522,
title = {GenerativeMPC: VLM-RAG-guided Whole-Body MPC with Virtual Impedance for Bimanual Mobile Manipulation},
author = {Marcelino Julio Fernando and Miguel Altamirano Cabrera and Jeffrin Sam and Yara Mahmoud and Konstantin Gubernatorov and Dzmitry Tsetserukou},
journal= {arXiv preprint arXiv:2604.19522},
year = {2026}
}
备注
6 pages, 7 figures