带熵正则化竞争博弈的快速策略外梯度法
最优化与控制
2023-01-23 v3 计算机科学与博弈论
信息论
机器学习
math.IT
摘要
本文研究竞争博弈均衡的计算问题，该问题常被建模为带概率单纯形约束的约束鞍点优化问题。尽管近期在理解无约束情形下外梯度法的末次迭代收敛性方面已有进展，但这些方法在约束情形下的理论基础仍极为不足，尤其是使用乘法更新的情形，即便目标函数为双线性时也是如此。受熵正则化在单智能体强化学习和博弈论中算法作用的启发，我们开发了可证明高效的外梯度法，以线性速率寻找量化响应均衡（QRE）——即带熵正则化的零和双人矩阵博弈的解。所提算法可以去中心化方式实现，其中每个玩家仅利用自身收益、无需直接观测对手动作即可迭代地执行对称且乘法的更新。此外，通过调节熵正则化的参数，所提算法能以次线性速率定位无正则化矩阵博弈的近似纳什均衡，且无需假设纳什均衡唯一。我们的方法还导出了用于以类似速率求解（熵正则化）零和马尔可夫博弈的高效策略外梯度算法。我们所有的收敛速率均近乎与维度无关，即除对数因子外不依赖于状态和动作空间的大小，凸显了熵正则化对加速收敛的积极作用。
引用
@article{arxiv.2105.15186,
title = {Fast Policy Extragradient Methods for Competitive Games with Entropy Regularization},
author = {Shicong Cen and Yuting Wei and Yuejie Chi},
journal= {arXiv preprint arXiv:2105.15186},
year = {2023}
}