基于鞅的神经网络 SOC-MartNet 用于无显式 Hamilton-Jacobi-Bellman 方程中的最优控制
数值分析
2025-03-18 v4 数值分析
摘要
本文提出了一种基于鞅的神经网络方法，即 SOC-MartNet，用于求解高维 Hamilton-Jacobi-Bellman (HJB) 方程，无需显式求出哈密顏量的下确界 ，以及具有漂移和扩散项均受控约束的最优控制问题 (SOCP)。我们通过训练两个神经网络来 reformulate HJB 方程：一个用于价值函数，另一个用于最优控制。辅以两种随机过程——哈密顏过程和代价过程。控制网络和价值网络的训练使得关联的哈密顏过程被最小化，以满足基于反馈最优控制问题的最小原理；而代价过程则演变为鞅，从而确保价值函数网络是相应 HJB 方程的解。此外，为实现代价过程的鞅性，我们采用对抗网络构建损失函数，刻画条件期望条件下投影性质。数值结果表明，所提出的 SOC-MartNet 在少于 6000 次训练迭代步骤内，能够有效且高效地求解最高达 10,000 维的 HJB 类方程和 SOCP。
关键词
引用
@article{arxiv.2405.03169,
title = {SOC-MartNet: A Martingale Neural Network for the Hamilton-Jacobi-Bellman Equation without Explicit inf H in Stochastic Optimal Controls},
author = {Wei Cai and Shuixin Fang and Tao Zhou},
journal= {arXiv preprint arXiv:2405.03169},
year = {2025}
}