面向平均场博弈的强化学习及其在经济学中的应用
最优化与控制
2021-06-28 v1 机器学习
摘要
平均场博弈（MFG）与平均场控制问题（MFC）是用于研究具有连续体智能体的博弈中纳什均衡或社会最优的框架。这些问题可用于近似具有大量有限智能体的竞争或合作博弈，并已在尤其是经济学中发现了广泛应用。近年来，MFG 与 MFC 中的学习问题引起了关注，既作为计算解的途径，也作为建模大量学习者如何收敛到均衡的方式。特别令人感兴趣的是智能体不知晓模型的设定，这催生了强化学习（RL）方法的发展。在回顾该主题文献后，我们提出一种用于 MFG 和 MFC 的带 RL 的双时间尺度方法，其依赖于统一的 Q-learning 算法。该方法的主要新颖之处在于以无模型方式同时更新动作值函数与分布但采用不同速率。根据两种学习速率的比值，该算法学习到 MFG 或 MFC 解。为说明此方法，我们将其应用于有限 horizon 下具有 HARA 效用函数的累积消费平均场问题，以及一个交易员最优清算问题。
引用
@article{arxiv.2106.13755,
title = {Reinforcement Learning for Mean Field Games, with Applications to Economics},
author = {Andrea Angiuli and Jean-Pierre Fouque and Mathieu Lauriere},
journal= {arXiv preprint arXiv:2106.13755},
year = {2021}
}