平均场博弈中的学习：综述
机器学习
2024-07-30 v4 人工智能
计算机科学与博弈论
最优化与控制
摘要
具有极大量参与者的非合作与合作关系博弈虽有诸多应用，但当参与者数量增加时通常难以处理。由Lasry与Lions以及Huang、Caines和Malhamé引入的平均场博弈(MFGs)依赖平均场近似以使参与者数量趋于无穷。求解这些博弈的传统方法通常依赖在完全掌握模型的前提下求解偏微分方程或随机微分方程。近来，强化学习(RL)在大规模求解复杂问题方面展现出前景。RL与MFGs的结合有望在群体规模与环境复杂度上以极大规模求解博弈。本综述回顾了关于利用RL方法学习MFGs中均衡与社会最优的迅速增长的近期文献。我们首先确定MFGs最常见的设定(静态、平稳与演化)。随后给出基于最佳响应计算或策略评估的经典迭代方法在精确求解MFGs的一般框架。基于这些算法及与马尔可夫决策过程的联系，我们阐释了如何以无模型方式利用RL学习MFG解。最后，我们在一个基准问题上给出数值说明，并总结若干展望。
引用
@article{arxiv.2205.12944,
title = {Learning in Mean Field Games: A Survey},
author = {Mathieu Laurière and Sarah Perrin and Julien Pérolat and Sertan Girgin and Paul Muller and Romuald Élie and Matthieu Geist and Olivier Pietquin},
journal= {arXiv preprint arXiv:2205.12944},
year = {2024}
}