基于维特纳空间数值积累的高效神经随机微分方程训练
摘要
神经随机微分方程（SDE）是一种以神经网络参数化漂移项和扩散项的SDE。神经SDE的训练过程包括优化SDE向量场（神经网络）参数，以最小化无限维路径空间上目标函数的期望值。现有的训练技术专注于高效计算目标函数相对于这些参数的路径梯度，然后配合蒙特卡洛模拟来估计梯度期望。在本工作中，我们引入一种新颖的训练技术，旁路并改进了这种蒙特卡洛模拟；我们将维特纳空间积累理论的结果扩展到，通过加权求和来近似目标函数的期望值，从而使用确定性ODE解的函数评估。我们的数学主要贡献在于将积累界限扩展到作用于路径空间的 Lipschitz-非线性函数的场景。我们所得到的构造性算法使得在多个方面都能够实现更高效的训练。首先，它规避了布朗运动的模拟，使得能够使用高效的并行ODE求解器，从而降低了路径函数评估的复杂度。 Furthermore, and more surprisingly, we show that the number of paths required to achieve a given (expected loss functional oracle value) approximation can be reduced in this deterministic cubature regime. Specifically, we show that under reasonable regularity assumptions we can observe a O(1/n) convergence rate, where n is the number of path evaluations; in contrast with the standard O(1/sqrt(n)) rate of naive Monte-Carlo or the O(log(n)^d /n) rate of quasi-Monte-Carlo.
引用
@article{arxiv.2502.12395,
title = {Efficient Neural SDE Training using Wiener-Space Cubature},
author = {Luke Snow and Vikram Krishnamurthy},
journal= {arXiv preprint arXiv:2502.12395},
year = {2025}
}