利用代理间耦合信息提高合作 LQR 的强化学习效率
系统与控制
2025-04-30 v1 机器学习
多智能体系统
系统与控制
最优化与控制
摘要
过去几年来，开发可扩展且高效的合作多智能体控制强化学习算法受到广泛关注。现有文献基于代理之间的经验信息结构提出了局部 Q 函数的近似分解。在本文中，我们利用代理间的耦合信息，提出了一种系统方法来精确分解每个代理的局部 Q 函数。我们基于所提出的分解开发了一个近似最小二乘策略迭代算法，并确定两种学习每个代理局部 Q 函数的架构。我们证明了该分解的最坏情况样本复杂度等于集中式情况，并推导了实现更好样本效率所需的充要图条件。我们在数值示例中展示了改进的样本效率和计算效率。
引用
@article{arxiv.2504.20927,
title = {Exploiting inter-agent coupling information for efficient reinforcement learning of cooperative LQR},
author = {Shahbaz P Qadri Syed and He Bai},
journal= {arXiv preprint arXiv:2504.20927},
year = {2025}
}
备注
Accepted at Learning for Dynamics and Control (L4DC), 2025