鞅与多臂赌博机的PAC-贝叶斯分析
机器学习
2011-05-20 v2 机器学习
摘要
我们提出了两种将PAC-贝叶斯分析应用于相依随机变量序列的替代方法。第一种方法基于一个新的引理，该引理能够将某些相依随机变量的凸函数的期望，用独立伯努利随机变量的相同函数的期望来界定。该引理为界定鞅值的集中性提供了替代Hoeffding-Azuma不等式的工具。我们的第二种方法基于将Hoeffding-Azuma不等式与PAC-贝叶斯分析相结合。我们还引入了一种在有限反馈情形下应用PAC-贝叶斯分析的方法。我们结合这些新工具，为多臂赌博机问题推导出了PAC-贝叶斯泛化界和遗憾界。尽管我们的遗憾界尚不如基于其他成熟技术的最新遗憾界那样紧致，但我们的结果显著扩展了PAC-贝叶斯分析的潜在应用范围，并为强化学习以及许多其他遇到鞅和有限反馈的领域引入了一种新的分析工具。
引用
@article{arxiv.1105.2416,
title = {PAC-Bayesian Analysis of Martingales and Multiarmed Bandits},
author = {Yevgeny Seldin and François Laviolette and John Shawe-Taylor and Jan Peters and Peter Auer},
journal= {arXiv preprint arXiv:1105.2416},
year = {2011}
}