基于 Bernstein 在线聚合的最优学习
机器学习
2016-09-14 v5 机器学习
统计理论
统计理论
摘要
我们引入了一种新的递归聚合过程，称为 Bernstein 在线聚合 (BOA)。指数权重包含一个精度项和一个二阶项，后者作为二次变差的代理，类似于 Hazan 和 Kale (2010)。这第二个项稳定了该过程，使其在多种意义上达到最优。我们首先在确定性背景下获得最优遗憾界。然后，一个自适应版本成为首个表现出二阶界的指数权重算法，其中超额损失首次出现在 Gaillard 等人 (2014) 的研究中。确定性背景下的二阶界被扩展到使用累积预测风险的一般随机背景。这种转换提供了本文的主要结果，即一种新型不等式，将该过程与任何确定性聚合过程在积分准则下进行比较。随后，我们获得了 BOA 过程超额风险的可观测估计。为了断言最优性，我们最后考虑强凸且 Lipschitz 连续损失的独立同分布 (iid) 情形，并证明了达到了 Tsybakov (2003) 的最优聚合速率。BOA 过程的批量版本随后成为首个满足高概率最优 Oracle 不等式的自适应显式算法。
引用
@article{arxiv.1404.1356,
title = {Optimal learning with Bernstein Online Aggregation},
author = {Olivier Wintenberger},
journal= {arXiv preprint arXiv:1404.1356},
year = {2016}
}