虚拟到真实：在视觉语义分割中学习控制

从物理世界收集训练数据通常耗时，且对脆弱机器人而言甚至危险，因此近期机器人学习的进展提倡使用模拟器作为训练平台。遗憾的是，合成与真实视觉数据之间的现实差距阻碍了在虚拟世界中训练的模型直接向真实世界迁移。本文提出一种用于解决虚拟到真实问题的模块化架构。所提架构将学习模型分离为感知模块与控制策略模块，并使用语义图像分割作为关联这两个模块的元表示。感知模块将感知到的 RGB 图像转换为语义图像分割。控制策略模块实现为一个深度强化学习智能体，其基于转换后的图像分割执行动作。我们的架构在避障任务与目标跟随任务中得到评估。实验结果表明，我们的架构在虚拟与真实环境中均显著优于所有基线方法，并展现出比它们更快的学习曲线。我们还对多种变体配置给出了详细分析，并验证了模块化架构的可迁移性。