关于随机梯度下降与随机 gossip 的 Nesterov 加速的连续化视角
最优化与控制
2021-10-28 v2 机器学习
多智能体系统
概率论
机器学习
摘要
我们引入连续化 Nesterov 加速，它是 Nesterov 加速的一个相近变体，其变量由连续时间参数索引。两个变量遵循线性常微分方程持续混合，并在随机时刻采取梯度步。这一连续化变体兼具连续与离散框架之长：作为连续过程，可使用微分学分析收敛性并获得参数的解析表达式；且该连续化过程的离散化可精确计算，其收敛速率与 Nesterov 原始加速相近。我们表明该离散化具有与 Nesterov 加速相同的结构，但带有随机参数。我们在确定性与随机梯度下提供连续化 Nesterov 加速，包含加性或乘性噪声。最后，利用我们的连续化框架并将 gossip 平均问题表达为某能量函数的随机最小化，我们提供了异步 gossip 算法的首个严格加速。
引用
@article{arxiv.2106.07644,
title = {A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip},
author = {Mathieu Even and Raphaël Berthier and Francis Bach and Nicolas Flammarion and Pierre Gaillard and Hadrien Hendrikx and Laurent Massoulié and Adrien Taylor},
journal= {arXiv preprint arXiv:2106.07644},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2102.06035