时变有向图上强凸函数的随机梯度推送
最优化与控制
2015-02-17 v2 系统与控制
摘要
我们研究了最近提出的用于时变有向图上分布式优化的次梯度推送 (subgradient-push) 方法的收敛速率。次梯度推送方法可以以分布式方式实现,无需知道代理数量或图序列;每个节点只需知道其在每个时刻的出度。我们的主要结果是,即使仅可获得随机梯度样本,对于具有 Lipschitz 梯度的强凸函数,其收敛速率为 ;这在渐近意义上快于先前已知的(一般)凸函数的 速率。
引用
@article{arxiv.1406.2075,
title = {Stochastic Gradient-Push for Strongly Convex Functions on Time-Varying Directed Graphs},
author = {Angelia Nedic and Alex Olshevsky},
journal= {arXiv preprint arXiv:1406.2075},
year = {2015}
}