平均场控制的无穷 horizon 平均代价最优性准则

我们在离散时间下研究无穷 horizon 平均代价最优性准则中的平均场控制问题。我们关注有限种群与无限种群两种设定。我们证明了在以下条件下有限种群问题存在平均代价最优方程（ACOE）的解以及最优平稳 Markov 策略的存在性：（i）一个使智能体集体状态过程具有几何遍历性的次要化条件；（ii）在智能体的阶段代价和转移函数满足标准 Lipschitz 连续性假设且转移函数的 Lipschitz 常数满足某边界时。对于无限种群问题，我们建立了 ACOE 解的存在性，以及在代价和转移函数连续性假设下最优策略的存在性。最后，我们关联有限种群与无限种群控制问题：（i）我们证明随着智能体数量趋于无穷，有限种群问题的最优值收敛于无限种群问题的最优值；（ii）我们证明有限种群最优解的聚点对应于无限种群问题的一个最优解；以及（iii）我们表明当种群足够大时，可将无限种群问题的解对称地用于各智能体以在有限种群问题中实现近最优性能。