以未来为提示：基于交互式数字孪生的开放世界模型预测控制
机器人学
2025-06-17 v1
摘要
开放世界机器人操作的最新进展在很大程度上由视觉语言模型（VLMs）驱动。尽管这些模型在高层规划中表现出强大的泛化能力，但由于对物理世界理解有限，它们在预测底层机器人控制方面存在困难。为解决这一问题，我们提出了一种面向开放世界操作的模型预测控制框架，将VLMs的语义推理能力与现实世界环境的物理基础交互式数字孪生相结合。通过构建和模拟数字孪生，我们的方法生成可行的运动轨迹，模拟相应结果，并以未来观测为提示VLM，根据任务语言指令评估并选择最合适的方案。为进一步提升预训练VLMs在机器人控制中理解复杂场景的能力，我们利用数字孪生的灵活渲染能力，在各种新颖的未被遮挡视角下合成场景。我们在多样化的复杂操作任务上验证了该方法，展示了相比基于VLMs的语言条件机器人控制基线方法的优越性能。
引用
@article{arxiv.2506.13761,
title = {Prompting with the Future: Open-World Model Predictive Control with Interactive Digital Twins},
author = {Chuanruo Ning and Kuan Fang and Wei-Chiu Ma},
journal= {arXiv preprint arXiv:2506.13761},
year = {2025}
}