McKean-Vlasov 动力学最优控制的随机化动态规划原理与 Feynman-Kac 表示

我们分析了一个随机最优控制问题，其中状态过程服从 McKean-Vlasov 动力学且扩散系数可以是退化的。我们证明其值函数 $V$ 可用一类正倒向随机微分方程表示为非线性 Feynman-Kac 表示，并具有一个自治的前向过程。我们利用该概率表示严格证明了 $V$ 的动态规划原理 (DPP)。我们得到的 Feynman-Kac 表示除了在获得主要结果中起中介作用外，还具有重要作用：事实上，它对开发 $V$ 的概率数值方案是有用的。DPP 对于将值函数刻画为非线性偏微分方程（即所谓的 Hamilton-Jacobi-Bellman 方程）的解至关重要，在此情形下该方程定义在测度的 Wasserstein 空间上。我们应注意，求解这些方程的通常途径是 Pontryagin 最大值原理，这需要一些凸性假设。此前也有尝试使用动态规划方法的工作，但这些工作先验地假设控制为 Markovian 反馈类型，这有助于仅用状态过程的分布来表述问题（从而使控制问题成为确定性问题）。在本文中，我们将考虑开环控制，并在这一最一般的情形下推导动态规划原理。为了获得 Feynman-Kac 表示和随机化动态规划原理，我们实现了所谓的随机化方法，该方法包括表述一个新的 McKean-Vlasov 控制问题，以弱形式在一族等价概率测度上取上确界。本文的主要结果之一是证明后一控制问题与原始控制问题具有相同的值函数 $V$。