带公共噪声的平均场马尔可夫决策过程的混沌传播定量估计

我们研究带公共噪声的平均场马尔可夫决策过程（CMKV-MDP）的混沌传播，其中优化是在无限 horizon 上的随机开环控制上进行的。我们首先给出收敛速率 $M_N^\gamma$，其中 $M_N$ 为经验测度在 Wasserstein 距离下的平均收敛速率，$\gamma \in (0,1]$ 为显式常数，对应于具有非对称开环控制的 $N$-智能体控制问题的值函数趋于 CMKV-MDP 值函数的极限。此外，我们展示了如何由 CMKV-MDP 的 $\epsilon$-最优策略显式构造 $N$-智能体模型的 $(\epsilon+\mathcal{O}(M_N^\gamma))$-最优策略。我们的方法依赖于 $N$-智能体问题与 CMKV-MDP 中 Bellman 算子的精细比较，以及经验测度的精细耦合。