ForeRobo：解锁3D 目标驱动机器人操作的无限仿真数据
机器人学
2025-11-07 v1
摘要
高效地利用仿真来获取先进的操作技能既具有挑战性又极其重要。我们提出了 \textit{ForeRobo}，一个利用生成式仿真来自主获取以目标状态为驱动的操纵技能的生成式机器人智能体。我们主张将生成范式与经典控制方法结合，而不是直接学习低层策略。我们的做法为机器人智能体配备了一个自引导的「提出-生成-学习-执行」循环。该智能体首先提出要获取的技能并构建相应的仿真环境；随后配置物体以生成与技能一致的目标状态（\textit{ForeGen}）；接着使用 ForeGen 生成的几乎无限数据来训练提出的状态生成模型（\textit{ForeFormer}），该模型通过预测当前状态中每个点的3D 目标位置来建立点与点之间的对应关系，基于场景状态和任务指令；最后采用经典控制算法在真实环境中执行动作。与端到端策略学习方法相比，ForeFormer 在可解释性和执行效率方面具有优势。我们在多种刚体和关节物体的操作任务上训练和评估 ForeFormer，观察到相对于最新状态生成模型平均提升 56.32%，显示出在不同操作模式下的强大普适性。此外，在涉及超过 20 项机器人任务的真实环境评估中，ForeRobo 实现了零样本仿真到真实的迁移，展现出显著的泛化能力，平均成功率达 79.28%。
引用
@article{arxiv.2511.04381,
title = {ForeRobo: Unlocking Infinite Simulation Data for 3D Goal-driven Robotic Manipulation},
author = {Dexin wang and Faliang Chang and Chunsheng Liu},
journal= {arXiv preprint arXiv:2511.04381},
year = {2025}
}