一种高维随机微分方程的高效梯度估计器
最优化与控制
2024-09-27 v2
摘要
超参数随机微分方程（SDE）模型在诸多复杂环境中取得了显著成功，如PDE约束优化、随机控制和强化学习、金融工程以及神经SDE。这些模型通常特征于系统演化系数由高维向量 参数化，旨在通过随机梯度上升优化SDE的期望值，如价值函数。因此，设计一种计算复杂度随 规模良好的梯度估计器至关重要。本文引入了一种新型无偏随机梯度估计器——生成器梯度估计器，其计算时间在 中保持稳定。除了为一般具有跳跃的SDE建立方法的有效性外，我们还进行数值实验，测试在由高维神经网络参数化的线性-二次控制问题中的估计器。结果表明，我们的方法在效率上显著优于广泛使用的路径微分方法：我们的估计器实现了接近恒定的计算时间，随着 的增大，性能日益优于其对手，且未牺牲估计方差。这些实证发现凸显了我们所提出方法在当代应用中优化SDE的潜力。
引用
@article{arxiv.2407.10065,
title = {An Efficient High-Dimensional Gradient Estimator for Stochastic Differential Equations},
author = {Shengbo Wang and Jose Blanchet and Peter Glynn},
journal= {arXiv preprint arXiv:2407.10065},
year = {2024}
}