超越白板：面向物理嵌入式 3D 推箱子任务的模块化强化学习方法
机器学习
2020-10-06 v1 人工智能
机器人学
机器学习
摘要
智能机器人需要使用具体的、时空复杂的感官信息与运动控制来实现抽象目标。白板深度强化学习（RL）已在视觉、抽象或物理推理等任一方面应对了高难度任务，但联合解决这些挑战仍是一项艰巨任务。近期一个未解决的、集成这些挑战的基准任务是 Mujoban，其中机器人需要根据 2D 推箱子谜题生成的 3D 仓库进行布置。我们探究诸如 Mujoban 的集成任务是否可通过在感知-规划-行动层级中组合 RL 模块来解决，其中模块具有类似于经典机器人架构的明确定义的角色。与通常基于模型的经典架构不同，我们仅使用经 RL 或监督学习训练的无模型模块。我们发现，我们的模块化 RL 方法在 Mujoban 上大幅优于最先进的整体式 RL 智能体。此外，习得的模块可被复用，例如当使用不同机器人平台解决同一任务时。综上，我们的结果有力证明了研究模块化 RL 设计的重要性。项目网站：https://sites.google.com/view/modular-rl/
引用
@article{arxiv.2010.01298,
title = {Beyond Tabula-Rasa: a Modular Reinforcement Learning Approach for Physically Embedded 3D Sokoban},
author = {Peter Karkus and Mehdi Mirza and Arthur Guez and Andrew Jaegle and Timothy Lillicrap and Lars Buesing and Nicolas Heess and Theophane Weber},
journal= {arXiv preprint arXiv:2010.01298},
year = {2020}
}