随机镜像下降:基于镜像随机 Polyak 步长的收敛性分析与自适应变体
最优化与控制
2023-05-26 v3 机器学习
摘要
我们研究了在相对光滑与光滑凸优化中插值条件下的随机镜像下降(SMD)的收敛性。在相对光滑凸优化中,我们为采用常数步长的 SMD 提供了新的收敛保证。对于光滑凸优化,我们提出了一种新的自适应步长方案——镜像随机 Polyak 步长(mSPS)。值得注意的是,我们在两种设定下的收敛结果均未作有界梯度假设或有界方差假设,并且我们证明了在插值条件下收敛到一个消失的邻域。因此,这些结果对应于指数梯度算法在固定或自适应步长下插值条件的首个收敛保证。mSPS 将最近提出的随机 Polyak 步长(SPS)(Loizou 等人 2021)推广到镜像下降,并在继承镜像下降优势的同时,对现代机器学习应用保持实用且高效。我们以多种监督学习任务和不同 SMD 实例上的实验补充了我们的结果,展示了 mSPS 的有效性。
引用
@article{arxiv.2110.15412,
title = {Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize},
author = {Ryan D'Orazio and Nicolas Loizou and Issam Laradji and Ioannis Mitliagkas},
journal= {arXiv preprint arXiv:2110.15412},
year = {2023}
}