重访矩阵形式的策略优化

在表格型情况下，当奖励和环境动态已知时，策略评估可写为 $\bm{V}_{\bm{\pi}} = (I - \gamma P_{\bm{\pi}})^{-1} \bm{r}_{\bm{\pi}}$，其中 $P_{\bm{\pi}}$ 是给定策略 ${\bm{\pi}}$ 下的状态转移矩阵，$\bm{r}_{\bm{\pi}}$ 是给定 ${\bm{\pi}}$ 下的奖励信号。困扰我们的是，$P_{\bm{\pi}}$ 和 $\bm{r}_{\bm{\pi}}$ 都与 ${\bm{\pi}}$ 混合在一起，这意味着每次更新 ${\bm{\pi}}$ 时，它们都会一起改变。本文中，我们利用文献 \cite{wang2007dual} 中的记号来解耦 ${\bm{\pi}}$ 与环境动态，使得对策略的优化更为直接。我们证明，策略梯度定理 \cite{sutton2018reinforcement} 和 TRPO \cite{schulman2015trust} 可被纳入一个更一般的框架，且这种记号具有良好的潜力，可扩展到基于模型的强化学习。