SimLauncher：基于仿真预训练的高效真实世界机器人强化学习启动方法
机器人学
2025-07-08 v1
摘要
自主学习机械手臂等精细、长时序机器人技能一直是具身人工智能的长期目标。近期的机器人强化学习（RL）在真实世界视觉-运动控制任务中展现出卓越的性能和鲁棒性。然而，实际应用中的 RL 面临样本效率低、探索缓慢以及高度依赖人工干预等挑战。相比之下，仿真器提供了安全高效的环境，支持大规模探索和数据收集，而通过真实到仿真的技术手段可缓解视觉仿真-真实鸿沟。基于此，我们提出 SimLauncher，一种新型框架，融合真实世界 RL 与真实到仿真到真实方法的优势，以解决上述挑战。具体而言，我们首先在数字孪生仿真环境中预训练视觉-运动控制策略，其后两种方式惠及真实世界 RL：（1）利用大规模仿真演示和预训练策略 rollouts 获得的真实世界演示，引导目标值；（2）引入预训练策略的动作提议，以提升探索效率。我们在多阶段、接触密集和精细手部操控任务上进行了全面实验。与现有真实世界 RL 方法相比，SimLauncher 在样本效率上显著提升，实现了近乎完美的成功率。我们希望本工作能作为概念验证，激发进一步利用大规模仿真预训练来促进真实世界机器人 RL 的研究。
引用
@article{arxiv.2507.04452,
title = {SimLauncher: Launching Sample-Efficient Real-world Robotic Reinforcement Learning via Simulation Pre-training},
author = {Mingdong Wu and Lehong Wu and Yizhuo Wu and Weiyao Huang and Hongwei Fan and Zheyuan Hu and Haoran Geng and Jinzhou Li and Jiahe Ying and Long Yang and Yuanpei Chen and Hao Dong},
journal= {arXiv preprint arXiv:2507.04452},
year = {2025}
}