连续时间随机梯度下降：中心极限定理
概率论
2019-06-18 v4 统计理论
计算金融
机器学习
统计理论
摘要
连续时间随机梯度下降(SGDCT)为连续时间模型的统计学习提供了一种计算高效的方法，这些模型广泛应用于科学、工程与金融领域。SGDCT算法沿着连续数据流遵循（含噪）下降方向。参数更新在连续时间发生并满足一个随机微分方程。本文通过证明强凸目标函数的中心极限定理(CLT)，以及在稍强条件下对非凸目标函数的中心极限定理，分析了SGDCT算法的渐近收敛速率。在强凸情形下，还证明了该算法的收敛速率。数学分析位于随机分析与统计学习的交叉点。
引用
@article{arxiv.1710.04273,
title = {Stochastic Gradient Descent in Continuous Time: A Central Limit Theorem},
author = {Justin Sirignano and Konstantinos Spiliopoulos},
journal= {arXiv preprint arXiv:1710.04273},
year = {2019}
}