利用神经网络求解高维 Hamilton-Jacobi-Bellman 偏微分方程：基于受控扩散与路径空间测度理论的视角
最优化与控制
2023-01-31 v2 机器学习
数值分析
数值分析
概率论
机器学习
摘要
扩散过程的最优控制与求解某些 Hamilton-Jacobi-Bellman 方程的问题密切相关。基于近期受机器学习启发的高维偏微分方程方法，我们研究了 技术的潜力，特别考虑了其在重要性采样与稀有事件模拟中的应用，并聚焦于无扩散控制、具有线性受控漂移以及运行代价关于控制呈二次依赖的问题。更一般地，我们的方法适用于具有某种平移不变性的非线性抛物型偏微分方程。损失函数的选择是算法设计的核心要素，我们基于路径测度之间的散度发展了一个原则性框架，涵盖了多种现有方法。受前向-后向 SDE 联系的启发，我们提出并研究了新颖的 散度，展示了相应蒙特卡洛估计量的良好性质。所发展方法的潜力通过一系列高维和亚稳态数值算例得到例证。
引用
@article{arxiv.2005.05409,
title = {Solving high-dimensional Hamilton-Jacobi-Bellman PDEs using neural networks: perspectives from the theory of controlled diffusions and measures on path space},
author = {Nikolas Nüsken and Lorenz Richter},
journal= {arXiv preprint arXiv:2005.05409},
year = {2023}
}