基于在线随机森林的 Q-learning

$Q$-learning 是最基本的免模型强化学习算法。$Q$-learning 的部署需要对状态-动作值函数（也称为 $Q$ 函数）进行近似。在这项工作中，我们提供在线随机森林作为 $Q$ 函数近似器，并提出了一种新方法，其中随机森林随着学习的进行而生长（通过扩展森林）。我们在两个 OpenAI gym 环境（`blackjack` 和 `inverted pendulum`）中展示了我们的方法相比最先进的 Deep $Q$-Networks 具有更优的性能，但在 `lunar lander` 环境中则不然。我们推测，随机森林所具有的抗过拟合能力使得我们的方法适用于不需要对问题域进行强表示的常见任务。我们表明，扩展森林（其中树的数量随着数据的输入而增加）能提高性能，这表明扩展森林适用于在线随机森林在强化学习设置之外的其他应用。