面向操作的仿真-真实强化学习：一种基于共识的方法

仿真-真实训练是机器人操作领域中仿真到真实（sim-to-real）训练的一种有前景的替代方案。然而，当前的仿真-真实训练既低效（即收敛到最优策略缓慢）又无效（即需要大量真实世界机器人数据）。在有限的时间与硬件预算下，仿真-真实训练的表现不尽如人意。本文中，我们提出一种用于机械臂抓取与放置任务的基于共识的仿真-真实深度强化学习算法（CSAR），其在仿真与真实世界中均展现出可比的性能。在该算法中，我们在仿真器与真实世界中分别训练智能体，以获得仿真与真实世界的最优策略。我们发现了两个有趣的现象：（1）仿真中的最佳策略并非仿真-真实训练的最佳策略。（2）仿真智能体越多，仿真-真实训练越好。实验视频见：https://youtu.be/mcHJtNIsTEQ。