鞅的 PAC-Bayes-Bernstein 不等式及其在多臂老虎机中的应用
机器学习
2012-01-31 v2
摘要
我们开发了一种新工具，用于在有限反馈下进行学习时对探索-利用权衡进行数据依赖分析。该工具基于两个主要组成部分。第一个组成部分是一种新的集中不等式，它能够控制多个（可能不可数多个）同时演化且相互依赖的鞅的加权平均的集中性。第二个组成部分是将此不等式通过重要性加权采样应用于探索-利用权衡。我们将新工具应用于随机多臂老虎机问题，然而本文的主要重要性在于新工具的开发和理解，而非改进现有随机多臂老虎机算法。在后续工作中，我们证明了新工具能够在结构更丰富的问题上超越最先进的方法，例如具有辅助信息的随机多臂老虎机（Seldin 等, 2011a）。
引用
@article{arxiv.1110.6755,
title = {PAC-Bayes-Bernstein Inequality for Martingales and its Application to Multiarmed Bandits},
author = {Yevgeny Seldin and Nicolò Cesa-Bianchi and Peter Auer and François Laviolette and John Shawe-Taylor},
journal= {arXiv preprint arXiv:1110.6755},
year = {2012}
}