多智能体LQR的可分解性与并行计算
系统与控制
2021-03-09 v2 人工智能
系统与控制
最优化与控制
摘要
多智能体系统 (MAS) 中的个体智能体可能具有解耦的开环动力学，但协同控制目标通常导致耦合的闭环动力学，从而使控制设计计算昂贵。当需应用如强化学习 (RL) 之类的学习策略以应对智能体动力学未知的情形时，计算时间变得更高。为解决此问题，我们提出一种用于连续时间线性MAS中线性二次调节器 (LQR) 设计的并行RL方案。其思想是借助嵌入于LQR目标中 与 加权矩阵的两图结构性质，定义一种正交变换，可将原LQR设计转化为多个解耦的更小规模LQR设计。我们表明，若MAS为同质的，则该分解保持闭环最优性。给出了可分解性条件、构造变换矩阵的算法、一种并行RL算法，以及当该设计应用于非同质MAS时的鲁棒性分析。仿真表明，所提方法能在不损失LQR代价累积值的前提下保证学习的显著加速。
引用
@article{arxiv.2010.08615,
title = {Decomposability and Parallel Computation of Multi-Agent LQR},
author = {Gangshan Jing and He Bai and Jemin George and Aranya Chakrabortty},
journal= {arXiv preprint arXiv:2010.08615},
year = {2021}
}
备注
This paper contains proofs of all the theorems in the conference paper "Decomposability and Parallel Computation of Multi-Agent LQR"