策略梯度方法的算子视角

我们将策略梯度方法视为两个算子的重复应用：一个策略改进算子 $\mathcal{I}$，它将任意策略 $\pi$ 映射为更好的策略 $\mathcal{I}\pi$；以及一个投影算子 $\mathcal{P}$，它在可实现策略集中找到 $\mathcal{I}\pi$ 的最佳近似。我们利用该框架引入传统策略梯度方法（如 REINFORCE 和 PPO）的基于算子的版本，从而更好地理解其原始对应方法。我们还利用对所开发的 $\mathcal{I}$ 和 $\mathcal{P}$ 作用的理解，提出期望回报的一个新的全局下界。这一新视角使我们进一步弥合基于策略与基于价值的方法之间的差距，例如展示 REINFORCE 与 Bellman 最优算子如何可被视为同一枚硬币的两面。