基于像素的平面推动任务中扩散策略的仿真-真实协同训练的实证分析

同时使用在仿真和真实硬件上生成的演示数据进行协同训练,已成为机器人技术中扩展模仿学习的一种有前景的方案。本工作旨在阐明这种仿真-真实协同训练的基本原理,以指导仿真设计、仿真-真实数据集创建以及策略训练。我们的实验证实,使用仿真数据进行协同训练可以显著提升性能,尤其是在真实数据有限的情况下。我们表明,这些性能增益随仿真数据的增加而扩大,直至达到一个平台;增加更多真实世界数据则会提高这一性能上限。结果还表明,对于非抓取或接触丰富的任务,缩小物理域差距可能比提升视觉保真度更具影响力。或许令人惊讶的是,我们发现一定的视觉差距反而有助于协同训练——二元探针揭示出,高性能策略必须学会区分仿真域与真实域。我们最后研究了这种细微差别以及促进仿真-真实之间正向迁移的机制。专注于像素输入下的平面推动这一典型任务,使我们能够进行彻底的研究。总体而言,我们的实验涵盖了 50 多个真实世界策略(评估超过 1000 次试验)和 250 个仿真策略(评估超过 50000 次试验)。视频和代码可在 https://sim-and-real-cotraining.github.io/ 获取。