初始化驱动的高维最优控制与一阶均场游戏的神经生成与训练

本文首先介绍一种用神经网络逼近高维最优控制价值函数的方法。基于普恩特海根最优原理（PMP）与最优控制问题价值函数之间的 established 关系，后者可表述为Hamilton-Jacobi-Bellman（HJB）方程的唯一解，我们提出一种方法，即首先使用神经网络提供价值函数的粗略估计，作为求解PMP中两点边界值问题的初始化，从而生成可靠数据。为训练神经网络，我们定义损失函数，考虑该数据集并惩罚对HJB方程的偏差。在第二部分，我们解决一阶均场游戏（MFG）均衡的计算问题，通过将该方法与虚假博弈算法集成实现。这些均衡由一组一阶HJB方程和连续性方程组成。为逼近连续性方程的解，我们引入第二个神经网络学习流映射，将初始分布的代理人迁移。该网络在从初始分布中抽样的若干初始条件下求解的底层ODE数据上进行训练。通过将流逼近、先前描述的价值函数逼近方法以及虚假博弈算法相结合，我们获得了一种有效处理高维确定性MFG的方法。