关于含噪声梯度下的加速
最优化与控制
2018-08-01 v3 数据结构与算法
摘要
加速算法因其通用性和快速收敛性在大规模优化中有广泛应用。然而，它们在含噪声梯度预言机的实际设定下的稳定性尚不被很好理解。本文提供两项主要技术贡献：(i) 一种新加速方法 AGDP，它推广了 Nesterov 的 AGD 并改进了近期方法 AXGD（Diakonikolas & Orecchia, 2018）；(ii) 对噪声和不精确梯度预言机下加速算法的理论研究，并有数值实验支持。本研究利用 AGDP 及其分析的简洁性，厘清噪声与加速之间的相互作用，并建议对算法进行修改以降低由梯度噪声引起的误差的均值与方差。
引用
@article{arxiv.1805.12591,
title = {On Acceleration with Noise-Corrupted Gradients},
author = {Michael B. Cohen and Jelena Diakonikolas and Lorenzo Orecchia},
journal= {arXiv preprint arXiv:1805.12591},
year = {2018}
}
备注
Appeared in Proc. ICML'18; v2 corrects the statement of Corollary 3.9; v3 added references to concurrent work