凸马尔可夫博弈及其扩展：存在性新证明、特征化及诺方均衡学习算法

凸马尔可夫博弈（cMGs）最近被引入作为一类广泛的多代理学习问题，扩展了马尔可夫博弈至智能体优化超出可加奖励的一般效用的情形。尽管 cMGs 扩展了建模前沿，但其理论基础——尤其是诺方均衡（NE）的结构以及学习算法的保证——尚未得到充分理解。本文针对 cMGs 的这一空白进行了工作，我们称其为通用效用马尔可夫博弈（GUMGs），捕捉需要代理人占用率之间耦合的新型应用。我们证明，在 GUMGs 中，诺方均衡与投影伪梯度动力学的固定点（即一阶平稳点）一致，这由一种新型的代理人级梯度支配属性实现。该洞察还yield了一个简洁的 NE 存在性证明，借助鲍尔定理。我们进一步展示了马尔可夫完美均衡的存在性。基于这一特征化，我们为 GUMGs 建立了政策梯度定理，并设计了一个无模型政策梯度算法。对于潜在 GUMGs，我们在精确梯度下建立了计算近似-NE 的迭代复杂度保证，并在生成模型和策略下提供了样本复杂度界。我们的结果超越了仅限于零和 cMGs 的先前工作，为常见感兴趣 cMGs 提供了首个理论分析。