CausalWorld：面向因果结构与迁移学习的机器人操作基准
机器人学
2020-11-25 v2 机器学习
机器学习
摘要
尽管强化学习（RL）近期取得进展，智能体将所学技能迁移到相关环境仍具挑战。为促进解决该问题的研究，我们提出 CausalWorld，一个用于机器人操作环境中因果结构与迁移学习的基准。该环境是一个开源机器人平台的仿真，因此提供 sim-to-real 迁移的可能。任务包括从给定的一组积木构建 3D 形状——灵感来自儿童学习构建复杂结构的方式。CausalWorld 的关键优势在于，它提供具有共同因果结构与底层因素（包括例如机器人与物体质量、颜色、尺寸）的此类任务的组合族。用户（或智能体）可干预所有因果变量，从而精细控制不同任务（或任务分布）的相似程度。因此可轻松定义所需难度的训练与评估分布，针对特定形式的泛化（例如仅外观或物体质量变化）。此外，该通用参数化有助于通过在初始任务与目标任务间插值来定义课程。用户虽可自定义任务分布，我们给出八个有意义分布作为具体基准，从简单到极具挑战，均需要长时序规划以及精确的底层运动控制。最后，我们针对这些任务的一个子集在不同训练课程与相应评估协议上提供基线结果，验证了该基准中任务的可行性。
引用
@article{arxiv.2010.04296,
title = {CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning},
author = {Ossama Ahmed and Frederik Träuble and Anirudh Goyal and Alexander Neitz and Yoshua Bengio and Bernhard Schölkopf and Manuel Wüthrich and Stefan Bauer},
journal= {arXiv preprint arXiv:2010.04296},
year = {2020}
}
备注
The first two authors contributed equally, the last two authors avised jointly