基于经验 Bernstein 不等式的 UCRL2 改进分析

Ronan Fruit; Matteo Pirotta; Alessandro Lazaric

基于经验 Bernstein 不等式的 UCRL2 改进分析

机器学习 2020-07-13 v1 机器学习

作者: Ronan Fruit , Matteo Pirotta , Alessandro Lazaric

摘要

我们考虑通信马尔可夫决策过程中的探索-利用问题。我们提供了基于经验 Bernstein 不等式的 UCRL2 分析（UCRL2B）。对于任意具有 $S$ 个状态、 $A$ 个动作、 $\Gamma \leq S$ 个后继状态以及直径 $D$ 的 MDP，UCRL2B 的遗憾界为 $\widetilde{O}(\sqrt{D\Gamma S A T})$ 。

关键词

强化学习马尔可夫决策过程 UCRL2 经验 Bernstein 不等式遗憾界探索-利用

引用

@article{arxiv.2007.05456,
  title  = {Improved Analysis of UCRL2 with Empirical Bernstein Inequality},
  author = {Ronan Fruit and Matteo Pirotta and Alessandro Lazaric},
  journal= {arXiv preprint arXiv:2007.05456},
  year   = {2020}
}

备注

Document in support of the tutorial at ALT 2019

相关论文

查看更多相关论文 →