复杂三维环境中的分层强化学习
机器学习
2023-03-01 v1 人工智能
摘要
分层强化学习（HRL）智能体有潜力展现出诸如抽象规划与探索、迁移及技能复用等引人注目的能力。近期HRL在不同领域的成功提供了证据，表明实用且有效的HRL智能体是可能的，即便现有智能体尚未完全实现HRL的潜力。尽管取得这些成功，视觉复杂的局部可观测三维环境对HRL智能体而言仍具挑战。我们以分层混合离线-在线（H2O2）解决此问题，这是一种分层深度强化学习智能体，利用自身经验从零发现并学习使用选项。我们表明，在DeepMind Hard Eight任务中H2O2与强大的非分层Muesli基线具有竞争力，并为复杂环境中分层智能体的学习问题提供了新见解。我们对H2O2的实证研究发现以往未被注意到的实际挑战，并为当前对复杂领域中分层智能体的理解带来新视角。
引用
@article{arxiv.2302.14451,
title = {Hierarchical Reinforcement Learning in Complex 3D Environments},
author = {Bernardo Avila Pires and Feryal Behbahani and Hubert Soyer and Kyriacos Nikiforou and Thomas Keck and Satinder Singh},
journal= {arXiv preprint arXiv:2302.14451},
year = {2023}
}