强化学习中用于技能迁移的分层启动法
机器学习
2022-08-17 v2 人工智能
摘要
练习与磨练技能是人类学习的基本组成部分，然而人工智能体却很少被专门训练来执行这些技能。相反，它们通常进行端到端训练，期望有用的技能能被隐式学习以最大化某些外在奖励函数的折扣回报。在本文中，我们研究在具有大状态-动作空间与稀疏奖励的复杂环境中，如何将技能纳入强化学习(RL)智能体的训练。为此，我们创建了 SkillHack，一个基于 NetHack 游戏的任务与关联技能基准。我们在该基准上评估了若干基线以及我们自己的新颖基于技能的方法分层启动(HKS)，其被证明优于所有其他被评估的方法。我们的实验表明，利用有用技能的先验知识能显著提升智能体在复杂问题上的表现。我们最终主张，利用预定义技能为 RL 问题提供了有用的归纳偏置，尤其是那些具有大状态-动作空间与稀疏奖励的问题。
引用
@article{arxiv.2207.11584,
title = {Hierarchical Kickstarting for Skill Transfer in Reinforcement Learning},
author = {Michael Matthews and Mikayel Samvelyan and Jack Parker-Holder and Edward Grefenstette and Tim Rocktäschel},
journal= {arXiv preprint arXiv:2207.11584},
year = {2022}
}
备注
19 pages, 12 figures, to be published in the Conference on Lifelong Learning Agents 2022