连续时间随机梯度下降

连续时间随机梯度下降（SGDCT）为广泛用于科学、工程和金融领域的连续时间模型的统计学习提供了一种计算高效的方法。SGDCT 算法沿着连续数据流遵循一个（含噪）下降方向。SGDCT 在连续时间内执行在线参数更新，其参数更新 $\theta_t$ 满足一个随机微分方程。我们证明 $\lim_{t \rightarrow \infty} \nabla \bar g(\theta_t) = 0$，其中 $\bar g$ 是用于估计连续时间动力学的自然目标函数。该收敛性证明通过使用一个适当的泊松方程来帮助描述参数在长时间下的演化，从而利用了遍历性。SGDCT 也可用于求解连续时间优化问题，例如美式期权。对于某些连续时间问题，与传统的随机梯度下降算法相比，SGDCT 具有一些有前景的优势。作为一个示例应用，SGDCT 与深度神经网络结合，用于定价高维美式期权（高达 100 维）。