利用变分自编码器将合成图像迁移至真实图像以用于机器人应用

在仿真环境中进行机器人学习，相比直接使用物理机器人进行学习，提供了一种更快速、更具可扩展性且更安全的训练方法。此外，在仿真环境中合成图像以收集大规模图像数据十分容易，而在真实世界中捕获相机图像则既耗时又昂贵。然而，由于合成图像与真实图像之间存在差距，仅从合成图像中学习可能无法在真实环境中达到理想的性能。因此，我们提出了一种将检测物体位置的学习能力从仿真环境迁移至真实世界的方法。我们的方法使我们能够仅使用非常有限的真实图像数据集，同时利用多个变分自编码器来借助大规模合成图像数据集。它检测物体位置的精度比直接从真实图像数据集中学习的基线方法高出 6 到 7 倍。在不同环境条件下进行物体位置估计是标准机器人操作任务的基本要求之一。我们表明，针对这一要求，所提出的方法在不同光照条件下或存在其他干扰物体时均能稳健地执行。利用检测到的物体位置，我们将仿真环境中学习到的拾取与放置或触达任务迁移至实际的物理机器人，而无需重新训练。