加速强化学习中 UCB 及相关指标的计算
机器学习
2019-10-01 v1 人工智能
机器学习
摘要
在本文中，我们推导了一种高效方法，用于计算 Burnetas 和 Katehakis (1997) 的渐近最优上置信界算法(MDP-UCB)相关指标，该方法只需求解一个含两个未知数的二元非线性方程组，而与马尔可夫决策过程(MDP)状态空间的基数无关。此外，基于 Honda 和 Takemura (2011) 的思想，我们为 Cowan 等人 (2019) 提出的 MDP-确定性最小经验散度(MDP-DMED)算法开发了类似的加速计算方法，涉及求解单个一元方程。我们提供了实验结果，展示了这些算法的计算时间节省与遗憾性能。在这些比较中，我们还考虑了乐观线性规划(OLP)算法(Tewari 和 Bartlett, 2008)以及一种基于后验采样的方法(MDP-PS)。
引用
@article{arxiv.1909.13158,
title = {Accelerating the Computation of UCB and Related Indices for Reinforcement Learning},
author = {Wesley Cowan and Michael N. Katehakis and Daniel Pirutinsky},
journal= {arXiv preprint arXiv:1909.13158},
year = {2019}
}
备注
A version of some of the algorithms and comparisons has appeared in a previous technical note by Cowan, Katehakis, and Pirutinsky (2019) arXiv:1909.06019