连续空间中无限 horizon 平均场问题的深度强化学习
最优化与控制
2025-03-07 v3 机器学习
摘要
我们提出并分析了一种强化学习（RL）算法，旨在以统一方式求解连续空间平均场博弈（MFG）与平均场控制（MFC）问题。所提方法将 actor-critic（AC）范式与通过参数化得分函数表示的平均场分布相结合，该得分函数可在线高效更新，并利用 Langevin 动力学从所得分布中采样。AC 智能体与得分函数迭代更新以收敛至给定平均场问题的 MFG 均衡或 MFC 最优解，具体取决于学习率的选择。对该算法的一个直接修改使我们能够求解混合平均场控制博弈（MFCG）。我们的算法性能在渐近无限 horizon 框架下的线性二次基准上得到评估。
引用
@article{arxiv.2309.10953,
title = {Deep Reinforcement Learning for Infinite Horizon Mean Field Problems in Continuous Spaces},
author = {Andrea Angiuli and Jean-Pierre Fouque and Ruimeng Hu and Alan Raydan},
journal= {arXiv preprint arXiv:2309.10953},
year = {2025}
}
备注
Revisions made in accordance with reviewer's wishes. The revision primarily includes more results and plots from new simulations to show robustness of the method. 40 pages; 19 figures