在线与随机优化中自适应正则化的统一方法
机器学习
2017-06-21 v1 最优化与控制
机器学习
摘要
我们描述了一个框架，用于推导和分析包含自适应、数据依赖正则化（也称为预条件处理）的在线优化算法。这类算法通过根据数据的几何结构重塑梯度，已被证明在随机优化中十分有用。我们的框架捕捉并统一了自适应在线方法的大量现有文献，包括AdaGrad和在线牛顿步算法及其对角版本。因此，我们为这些算法获得了新的收敛性证明，且比以往的分析更为简洁。我们的框架还揭示了常见随机优化方法中使用的不同预条件更新背后的原理。
引用
@article{arxiv.1706.06569,
title = {A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization},
author = {Vineet Gupta and Tomer Koren and Yoram Singer},
journal= {arXiv preprint arXiv:1706.06569},
year = {2017}
}