软最大策略梯度的Lyapunov分析：针对随机多臂老虎机

我们将Lattimore (2026) 关于连续时间k臂随机多臂老虎机策略梯度的分析方法，适用于标准的离散时间设置。与连续时间情形相同，我们证明当学习率为 $\eta = O(\Delta_{\min}^2/(\Delta_{\max} \log(n)))$ 时，累积懊惧为 $O(k \log(k) \log(n) / \eta)$，其中 $n$ 为时域，$\Delta_{\min}$ 和 $\Delta_{\max}$ 分别为最小和最大间隙。