自动化强化学习（AutoRL）：综述与开放问题
机器学习
2022-06-03 v2
摘要
强化学习（RL）与深度学习的结合带来了一系列令人瞩目的成就，许多人认为（深度）RL 提供了一条通向通用智能体的路径。然而，RL 智能体的成功往往对训练过程中的设计选择高度敏感，这可能需要繁琐且易出错的手动调参。这使得将 RL 用于新问题具有挑战性，同时也限制了其全部潜力。在机器学习的许多其他领域，AutoML 已表明自动化此类设计选择是可能的，且在应用于 RL 时也产生了有前景的初步结果。然而，自动化强化学习（AutoRL）不仅涉及 AutoML 的标准应用，还包含 RL 特有的额外挑战，自然催生了不同的一组方法。因此，AutoRL 已成为 RL 中一个重要研究领域，在从 RNA 设计到围棋等游戏的各种应用中展现出前景。鉴于 RL 中考虑的方法与环境的多样性，大量研究在从元学习到进化的不同子领域中开展。本综述旨在统一 AutoRL 领域，我们提供通用分类法，详细讨论每个领域，并提出对未来研究者有意义的开放问题。
引用
@article{arxiv.2201.03916,
title = {Automated Reinforcement Learning (AutoRL): A Survey and Open Problems},
author = {Jack Parker-Holder and Raghu Rajan and Xingyou Song and André Biedenkapp and Yingjie Miao and Theresa Eimer and Baohe Zhang and Vu Nguyen and Roberto Calandra and Aleksandra Faust and Frank Hutter and Marius Lindauer},
journal= {arXiv preprint arXiv:2201.03916},
year = {2022}
}
备注
Published in JAIR. Co-first authors and co-last authors are listed in alphabetical order