不完美信息扩展式博弈中的广义赌博机后悔最小化框架

后悔最小化方法是学习二人零和不完美信息扩展式博弈（IIEGs）中近似纳什均衡（NE）的有力工具。我们考虑交互式赌博机反馈设置下的该问题，其中我们不知道 IIEG 的动态。一般而言，仅揭示交互轨迹和到达的终止节点值 $v(z^t)$。为学习 NE，要求后悔最小化器通过 $v(z^t)$ 估计全反馈损失梯度 $\ell^t$ 并最小化后悔。本文针对该学习设置提出了一个广义框架。它给出了赌博机后悔最小化方法设计与模块化分析的理论框架。我们证明最新的赌博机后悔最小化方法均可作为我们框架的特例进行分析。遵循该框架，我们描述了一种学习近似 NE 的新方法 SIX-OMD。它是无模型的，并将现有最佳收敛速率从 $O(\sqrt{X B/T}+\sqrt{Y C/T})$ 量级显著提升至 $O(\sqrt{ M_{\mathcal{X}}/T} +\sqrt{ M_{\mathcal{Y}}/T})$。此外，SIX-OMD 计算高效，因为它仅需沿采样轨迹执行当前策略与平均策略更新。