双尺度梯度下降上升动力学从平均场视角求解连续博弈的混合纳什均衡

求解二人零和连续博弈的混合纳什均衡（MNE）是机器学习中的一个重要且具有挑战性的问题。寻找 MNE 的一个典型算法是带噪声的梯度下降上升方法，其在无限粒子极限下导出概率测度空间上的平均场梯度下降上升（GDA）动力学。本文首先研究用于求解熵正则化目标的双尺度平均场 GDA 动力学的收敛性。更确切地说，我们证明对于每个有限温度（或正则化参数），具有合适有限尺度比的双尺度平均场 GDA 在不假设相互作用势凸性或凹性的情况下指数收敛到唯一 MNE。我们证明的关键在于构造沿平均场 GDA 指数耗散的新 Lyapunov 函数。我们进一步研究平均场 GDA 动力学的模拟退火。我们证明，采用随时间对数衰减的温度调度，退火平均场 GDA 收敛到原始未正则化目标的 MNE。