GRS：从真实图像生成机器人仿真任务
机器人学
2025-10-29 v3 人工智能
摘要
我们提出GRS（Generating Robotic Simulation tasks），一个解决真实到仿真问题的系统。GRS从单一RGB-D观测中创建具可解任务的数字孪生仿真，用于虚拟代理训练。借助视觉语言模型（VLM），我们的管道包含三个阶段：1）使用SAM2进行场景理解，包括分割与对象描述；2）将对象匹配到仿真就绪资产；3）生成恰当的任务。我们通过生成的测试套件确保仿真任务与测试代码的对齐，并引入一种路由器不断细化仿真与测试代码。实验表明，我们的系统在对象对应和任务环境生成方面有效，新颖的路由器机制也展现了其作用。
引用
@article{arxiv.2410.15536,
title = {GRS: Generating Robotic Simulation Tasks from Real-World Images},
author = {Alex Zook and Fan-Yun Sun and Josef Spjut and Valts Blukis and Stan Birchfield and Jonathan Tremblay},
journal= {arXiv preprint arXiv:2410.15536},
year = {2025}
}