一种获得投影随机次梯度法 O(1/t) 收敛速率的更简单方法
机器学习
2012-12-21 v2 最优化与控制
机器学习
摘要
在这篇短文中，我们为投影随机次梯度法提出一种新的平均技术。通过对第 t 次迭代的迭代点 w_t 使用权重为 t+1 的加权平均，我们以简单的证明和易于实现的方式获得了 O(1/t) 的收敛速率。我们将新方案与现有技术进行了实证比较，其性能表现相似。
引用
@article{arxiv.1212.2002,
title = {A simpler approach to obtaining an O(1/t) convergence rate for the projected stochastic subgradient method},
author = {Simon Lacoste-Julien and Mark Schmidt and Francis Bach},
journal= {arXiv preprint arXiv:1212.2002},
year = {2012}
}
备注
8 pages, 6 figures. Changes with previous version: Added reference to concurrently submitted work arXiv:1212.1824v1; clarifications added; typos corrected; title changed to 'subgradient method' as 'subgradient descent' is misnomer