使用随机最优控制提高神经 SDE 训练效率
机器学习
2025-05-26 v1 人工智能
概率论
摘要
我们提出了一种受控制论启发的层次方法，用于神经随机微分方程（SDE）的变分推断（VI）。虽然 VI 在时间序列中实现不确定性感知推断是一条有前景的道路，但由于最大化 ELBO 的迭代性质，其计算过程具有挑战性。本文提出将控制项分解为线性和残差非线性组成部分，并利用随机最优控制推导针对线性 SDE 的最优控制项。通过神经网络建模非线性部分，我们展示了如何在不牺牲表达力的前提下高效训练神经 SDE。由于控制项的线性部分为最优且无需学习，训练初始化成本较低，收敛速度更快。
引用
@article{arxiv.2505.17150,
title = {Efficient Training of Neural SDEs Using Stochastic Optimal Control},
author = {Rembert Daems and Manfred Opper and Guillaume Crevecoeur and Tolga Birdal},
journal= {arXiv preprint arXiv:2505.17150},
year = {2025}
}
备注
Published in the ESANN 2025 proceedings, European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning. Bruges (Belgium) and online event, 23-25 April 2025