双层优化的双时间尺度框架：复杂度分析及其在Actor-Critic中的应用

本文分析了一种用于双层优化的双时间尺度随机算法框架。双层优化是一类具有两级结构的问题，其目标是在变量被约束为某个（内层）优化问题的最优解的条件下，最小化一个外层目标函数。我们考虑内层问题无约束且强凸，而外层问题有约束且目标函数光滑的情形。我们提出一种双时间尺度随机逼近（TTSA）算法来处理此类双层问题。该算法中，对内层问题使用步长较大的随机梯度更新，而对外层问题使用步长较小的投影随机梯度更新。我们在多种设定下分析TTSA算法的收敛速率：当外层问题强凸（或弱凸）时，TTSA算法找到$\mathcal{O}(K^{-2/3})$-最优（或$\mathcal{O}(K^{-2/5})$-驻点）解，其中$K$为总迭代次数。作为一个应用，我们表明一种双时间尺度自然actor-critic近端策略优化算法可视为我们TTSA框架的特例。重要的是，该自然actor-critic算法在相对于全局最优策略的期望折扣奖励差距方面被证明以$\mathcal{O}(K^{-1/4})$的速率收敛。