具有二次代价的基于梯度多智能体学习的扰动解耦
计算机科学与博弈论
2021-12-14 v2 多智能体系统
摘要
受多智能体学习在噪声环境中应用的推动，本文研究基于梯度的学习动态相对于扰动的鲁棒性。虽然沿对应于任意单个参与者动作的坐标注入的扰动总会影响整体学习动态，但参与者子集可以实现扰动解耦——即此类参与者的动作完全不受注入扰动的影响。我们给出了保证该性质对于具有二次代价函数的博弈的必要充分条件，这类博弈涵盖二次一次性连续博弈、有限 horizon 线性二次 (LQ) 动态博弈以及双线性博弈。具体而言，扰动解耦由学习动态上的代数条件和图论条件刻画，后者通过基于参与者代价的梯度构建博弈图得到。对于 LQ 博弈，我们表明扰动解耦对参与者的可控与不可观测子空间施加约束。对于双人双线性博弈，我们表明参与者动作坐标内的扰动解耦对收益矩阵施加约束。文中给出了说明性数值例子。
引用
@article{arxiv.2007.07228,
title = {Disturbance Decoupling for Gradient-based Multi-Agent Learning with Quadratic Costs},
author = {Sarah H. Q. Li and Lillian Ratliff and Behçet Açıkmeşe},
journal= {arXiv preprint arXiv:2007.07228},
year = {2021}
}