复杂动作空间中的学习与规划
机器学习
2021-04-14 v1
摘要
许多重要的现实问题具有高维、连续或兼有的动作空间，使得对所有可能动作进行完全枚举不可行。相反，只能采样小的动作子集用于策略评估与改进。本文提出一个通用框架，以原则性方式对这类采样动作子集上的策略评估与改进进行推理。该基于采样的策略迭代框架原则上可应用于任何基于策略迭代的强化学习算法。具体地，我们提出 Sampled MuZero，作为 MuZero 算法的扩展，能够通过规划采样动作在具有任意复杂动作空间的领域中学习。我们在经典棋盘游戏围棋以及两个连续控制基准领域：DeepMind Control Suite 和 Real-World RL Suite 上演示了该方法。
引用
@article{arxiv.2104.06303,
title = {Learning and Planning in Complex Action Spaces},
author = {Thomas Hubert and Julian Schrittwieser and Ioannis Antonoglou and Mohammadamin Barekatain and Simon Schmitt and David Silver},
journal= {arXiv preprint arXiv:2104.06303},
year = {2021}
}