Hilbert空间中驯化随机梯度下降方法的次线性收敛
最优化与控制
2021-06-18 v1 数值分析
数值分析
摘要
本文针对优化问题引入驯化随机梯度下降方法（TSGD）。受随机微分方程领域中常用方法驯化Euler格式的启发，TSGD是一种显式格式，展现出与隐式格式类似的稳定性。由于其计算代价本质上与著名的随机梯度下降方法（SGD）相当，它构成了此类方法极具竞争力的替代方案。我们严格证明了该格式在抽象Hilbert空间上针对强凸目标函数的（最优）次线性收敛性。分析仅需要非常温和的步长限制，这体现了良好的稳定性。该分析基于在时间积分背景中比在优化中更常见的先验估计，这一替代方法也为SGD的收敛性提供了不同视角。最后，我们在监督学习背景中出现的一个问题上展示了该格式的可用性。
引用
@article{arxiv.2106.09286,
title = {Sub-linear convergence of a tamed stochastic gradient descent method in Hilbert space},
author = {Monika Eisenmann and Tony Stillfjord},
journal= {arXiv preprint arXiv:2106.09286},
year = {2021}
}