非光滑随机镜像下降的一般尾部界
机器学习
2023-12-13 v1 机器学习
摘要
在本文中，我们针对凸且 Lipschitz 目标函数的随机镜像下降提供了关于其优化误差的新颖尾部界。我们的分析将现有的尾部界从经典的轻尾 Sub-Gaussian 噪声情况扩展到了重尾噪声机制。我们研究了最后一次迭代以及迭代平均值的优化误差。我们在两个重要的情况下实例化了我们的结果：一类具有指数尾的噪声和一类具有多项式尾的噪声。我们结果的一个显著特征是它们不要求对定义域的直径设定上限。最后，我们通过说明性实验支持了我们的理论，这些实验比较了在重尾噪声机制下迭代平均值与最后一次迭代的行为。
引用
@article{arxiv.2312.07142,
title = {General Tail Bounds for Non-Smooth Stochastic Mirror Descent},
author = {Khaled Eldowa and Andrea Paudice},
journal= {arXiv preprint arXiv:2312.07142},
year = {2023}
}