在线学习中指数权重的多面性

Dirk van der Hoeven; Tim van Erven; Wojciech Kotłowski

在线学习中指数权重的多面性

机器学习 2021-08-31 v2 机器学习

作者: Dirk van der Hoeven , Tim van Erven , Wojciech Kotłowski

摘要

在线学习的标准介绍可能以在线梯度下降(Online Gradient Descent)为中心，进而发展出如在线镜像下降(Online Mirror Descent)和二阶方法等推广与扩展。在此我们探讨另一种方法：将指数权重(Exponential Weights, EW)置于首位。我们证明，许多标准方法及其悔界(regret bound)随后通过代入合适的替代损失(surrogate loss)并取 EW 后验均值即可作为特例得到。例如，通过对线性化损失使用高斯先验的 EW，我们轻易恢复了在线梯度下降；更一般地，所有基于正则 Bregman 散度的在线镜像下降实例也对应于使用依赖于镜像映射的先验的 EW。此外，恰当的二次替代损失自然导出针对强凸损失的在线梯度下降以及在线牛顿步(Online Newton Step)。我们进一步将几种近期自适应方法（iProd、Squint 以及专家 Coin Betting 的一个变体）解释为一系列紧密相关的归约到指数凹替代损失、随后由指数权重处理的过程。最后，我们 EW 解释的一个好处是开启了从 EW 后验分布采样而非取均值的可能性。正如 Bubeck 和 Eldan 所观察到的，这恢复了在线强盗线性优化(Online Bandit Linear Optimization)中的已知最优速率。

关键词

指数权重在线学习在线梯度下降在线镜像下降悔界替代损失自适应方法

引用

@article{arxiv.1802.07543,
  title  = {The Many Faces of Exponential Weights in Online Learning},
  author = {Dirk van der Hoeven and Tim van Erven and Wojciech Kotłowski},
  journal= {arXiv preprint arXiv:1802.07543},
  year   = {2021}
}

在线学习中指数权重的多面性

摘要

关键词

引用

相关论文