基于分布式模型预测控制作为函数逼近器的多智能体强化学习
系统与控制
2025-01-06 v4 系统与控制
摘要
本文提出了一种针对具有凸多面体约束的线性系统的多智能体强化学习(RL)新方法。现有的 RL 研究已经证明了将模型预测控制(MPC)作为策略函数和价值函数的函数逼近器的可行性。本文是首个将此思想扩展至多智能体场景的研究。我们提出使用分布式 MPC 方案作为函数逼近器，其结构允许分布式学习与部署。随后我们证明，通过重构集中式学习更新，可以分布式地执行 Q-learning 更新而不引入非平稳性。该方法的有效性在两个数值示例中得到了验证。
引用
@article{arxiv.2312.05166,
title = {Multi-Agent Reinforcement Learning via Distributed MPC as a Function Approximator},
author = {Samuel Mallick and Filippo Airaldi and Azita Dabiri and Bart De Schutter},
journal= {arXiv preprint arXiv:2312.05166},
year = {2025}
}
备注
12 pages, 8 figures, accepted for publication in Automatica, code can be found at https://github.com/SamuelMallick/dmpcrl-concept/tree/paper-2023