探索的成功概率：学习效率的具体分析
机器学习
2016-12-06 v1
摘要
探索一直是强化学习的关键部分，但现有分析框架仍未能令人满意地回答关于探索效率的几个重要问题。这些问题包括探索参数设置、情境分析以及 MDP 的难度，这些都是从业者不可避免的。为了弥合理论与实践之间的差距，我们提出了一种名为“探索的成功概率”的新分析框架。我们表明，上述关于探索的重要问题均可在我们的框架下得到回答，并且我们的框架提供的答案比现有答案更能满足从业者的需求。更重要的是，我们引入了一种具体且实用的方法，用于在某些 MDP 中评估成功概率，而无需实际运行学习算法。随后，我们提供了实证结果来验证我们的方法，并展示了如何利用探索的成功概率来分析和预测探索的行为与可能结果，这些正是回答探索重要问题的关键。
引用
@article{arxiv.1612.00882,
title = {Success Probability of Exploration: a Concrete Analysis of Learning Efficiency},
author = {Liangpeng Zhang and Ke Tang and Xin Yao},
journal= {arXiv preprint arXiv:1612.00882},
year = {2016}
}