元学习共享层次结构
机器学习
2017-10-27 v1
摘要
我们提出一种元学习方法以学习层次结构化策略，通过使用共享基元——执行大量时间步的策略——来提高在未知任务上的样本效率。具体而言，一组基元在任务分布内共享，并由任务特定策略进行切换。我们给出了度量此类层次结构强度的具体指标，从而导出一个用于在未知任务上快速获得高回报的优化问题。随后我们提出一种算法，利用任何现成的强化学习方法来端到端求解该问题，方法是反复采样新任务并重置任务特定策略。我们仅通过与迷宫分布的交互，便成功为四足机器人的方向运动发现了有意义的运动基元。我们还展示了基元向解决长时间尺度稀疏奖励障碍课程的迁移能力，并使得 3D 人形机器人能以同一策略稳健地行走与爬行。
引用
@article{arxiv.1710.09767,
title = {Meta Learning Shared Hierarchies},
author = {Kevin Frans and Jonathan Ho and Xi Chen and Pieter Abbeel and John Schulman},
journal= {arXiv preprint arXiv:1710.09767},
year = {2017}
}