带自适应预条件的随机梯度下降在非凸与凸函数上的收敛性分析
最优化与控制
2023-08-29 v1
摘要
预条件是基于梯度的数值优化中的关键操作。它通过适当变换函数的梯度来降低函数的局部条件数。对于梯度可被精确计算的凸函数，最优线性变换对应于 Hessian 算子的逆，而最优凸变换为该函数的凸共轭。不同条件导致这些依赖关系的变化。实用算法常采用逆 Hessian 矩阵的低秩或随机近似来进行预条件处理。然而，这些算法的理论保证通常缺乏对预条件定义性属性的论证。本文提出一个简单的理论框架，表明给定一个光滑函数及其梯度的无偏随机近似，可以改进收敛速率对梯度 Lipschitz 常数的依赖关系。
引用
@article{arxiv.2308.14192,
title = {Convergence analysis of stochastic gradient descent with adaptive preconditioning for non-convex and convex functions},
author = {Dmitrii A. Pasechnyuk and Alexander Gasnikov and Martin Takáč},
journal= {arXiv preprint arXiv:2308.14192},
year = {2023}
}
备注
12 pages, 2 figures