采用控制变量法降低方差的期望Sarsa($\lambda$)算法

离策略学习对强化学习十分强大。然而，离策略评估的高方差是一个关键挑战，导致离策略学习陷入失控的不稳定性。本文为降低方差，将控制变量技术引入$\mathtt{Expected}$ $\mathtt{Sarsa}$($\lambda$)，并提出一种表格型$\mathtt{ES}$($\lambda$)-$\mathtt{CV}$算法。我们证明，若达到价值函数的适当估计器，所提出的$\mathtt{ES}$($\lambda$)-$\mathtt{CV}$比$\mathtt{Expected}$ $\mathtt{Sarsa}$($\lambda$)具有更低的方差。此外，为将$\mathtt{ES}$($\lambda$)-$\mathtt{CV}$扩展为具有线性函数逼近的收敛算法，我们在凸-凹鞍点公式下提出$\mathtt{GES}$($\lambda$)算法。我们证明$\mathtt{GES}$($\lambda$)的收敛速率达到$\mathcal{O}(1/T)$，这与许多最先进的基于梯度的算法相当或更优，但我们使用更宽松的条件。数值实验表明，所提算法比若干最先进的基于梯度的TD学习算法：$\mathtt{GQ}$($\lambda$)、$\mathtt{GTB}$($\lambda$)和$\mathtt{ABQ}$($\zeta$)具有更低的方差且表现更好。