非凸有限和问题中随机递归梯度的概率保证
机器学习
2024-01-31 v1 机器学习
最优化与控制
统计理论
统计理论
摘要
本文针对具有随机个体界的鞅差序列的求和范数，发展了一种新的与维度无关的 Azuma-Hoeffding 型界。利用这一新结果，我们为所提出的算法 Prob-SARAH 中的梯度范数估计器提供了高概率界，该算法是随机递归梯度算法（SARAH）的改进版本。SARAH 是一种最先进的方差缩减算法，在期望意义下为有限和问题实现了最优计算复杂度。Prob-SARAH 的依概率复杂度在相差对数因子的范围内匹配了最佳的期望意义下的结果。实证实验表明，与其他流行算法相比，Prob-SARAH 在真实数据集上展现出优越的概率性能。
引用
@article{arxiv.2401.15890,
title = {Probabilistic Guarantees of Stochastic Recursive Gradient in Non-Convex Finite Sum Problems},
author = {Yanjie Zhong and Jiaqi Li and Soumendra Lahiri},
journal= {arXiv preprint arXiv:2401.15890},
year = {2024}
}
备注
41 pages, 3 figures, accepted to PAKDD 2024