无参数达成一切：自适应 NormalHedge
机器学习
2015-02-23 v1
摘要
我们研究经典的带有专家建议的预测在线学习问题，并提出一种真正无参数且自适应的算法，可在不使用任何先验信息的情况下同时实现多个目标。本工作的核心组件是 NormalHedge.DT 算法（Luo and Schapire, 2014）的改进版本，称为 AdaNormalHedge。一方面，当竞争者具有较小损失时，该新算法确保较小遗憾；当损失为随机时，几乎为常数遗憾。另一方面，该算法能够同时与专家的任何凸组合竞争，其遗憾以先验与竞争者的相对熵表示。这解决了 Chaudhuri 等人（2009）以及 Chernov 和 Vovk（2010）提出的开放问题。此外，我们将结果扩展到睡眠专家设置，并给出两个应用以阐明 AdaNormalHedge 的能力：1) 与时变未知竞争者竞争；2) 预测几乎与最佳剪枝树一样好。我们在这些应用上的结果从不同方面显著改进了先前工作，并且第一个应用的一个特例解决了 Warmuth 和 Koolen（2014）提出的另一开放问题，即能否同时实现对对抗性损失和随机损失的最优漂移遗憾。
引用
@article{arxiv.1502.05934,
title = {Achieving All with No Parameters: Adaptive NormalHedge},
author = {Haipeng Luo and Robert E. Schapire},
journal= {arXiv preprint arXiv:1502.05934},
year = {2015}
}