关于镜像下降的相对光滑性下的方差定义的探讨
最优化与控制
2024-04-19 v1
摘要
镜像下降是一种流行的算法，扩展了梯度下降（GD） beyond欧几里得几何。其一种优势是通过光滑样本分析实现强收敛保证，即使目标函数的曲率出现爆炸或消失亦可。这是通过引入相对光滑性概念实现的，该概念在镜像下降的许多常见用例中都成立。虽然基本确定性结果在相对设置下表现良好，但大多数现有随机分析需要对镜像进行额外假设，如通常意义下的强凸性，以确保方差受控。在本工作中，我们重新审视了在（相对）强凸和相对光滑环境下的随机镜像下降（SMD）证明，提出一种新的（较不限制性的）方差定义，通常可在温和的规律性假设下（全局）受控。我们随后对此概念进行更详细的探讨，表明它自然导致针对随机镜像下降的强收敛保证。最后，我们利用这一新分析，为均值和方差未知的高斯分布的最大似然估计器获得收敛保证。
引用
@article{arxiv.2404.12213,
title = {Investigating Variance Definitions for Mirror Descent with Relative Smoothness},
author = {Hadrien Hendrikx},
journal= {arXiv preprint arXiv:2404.12213},
year = {2024}
}