在高 Hessian 差异设定下加速随机近端优化
最优化与控制
2024-12-19 v1
摘要
随机近端点方法近期在优化界重新引起关注，主要归功于其理想的理论性质。值得注意的是，这些方法表现出独立于损失函数 Lipschitz 平滑常数的收敛速率，而这一特性在现代机器学习应用的损失函数中通常是缺失的。在本文中，我们重新审视了无环随机方差减少近端点方法（L-SVRP）的分析。在现有工作基础上，我们在函数间具有高 Hessian 差异特征的场景下，确立了收敛速率的理论改进。我们简洁的分析不需要平滑性假设，证明了与标准随机梯度下降相比，通信复杂度有显著改善。
关键词
引用
@article{arxiv.2412.13619,
title = {Speeding up Stochastic Proximal Optimization in the High Hessian Dissimilarity Setting},
author = {Elnur Gasanov and Peter Richtárik},
journal= {arXiv preprint arXiv:2412.13619},
year = {2024}
}