关于梯度期望Sarsa($\lambda$)的收敛性
机器学习
2020-12-15 v1
摘要
我们研究了带有线性函数逼近的的收敛性。我们表明，将离线估计（多步引导）应用于对于离策略学习是不稳定的。此外，基于凸-凹鞍点框架，我们提出了一种收敛的（）算法。理论分析表明，我们的以线性收敛速率收敛到最优解，这与大量现有的最先进梯度时序差分学习算法相当。此外，我们发展了Lyapunov函数技术来研究步长如何影响的有限时间性能，这种Lyapunov函数技术有潜力推广到其他GTD算法。最后，我们进行了实验来验证我们的的有效性。
引用
@article{arxiv.2012.07199,
title = {On Convergence of Gradient Expected Sarsa($\lambda$)},
author = {Long Yang and Gang Zheng and Yu Zhang and Qian Zheng and Pengfei Li and Gang Pan},
journal= {arXiv preprint arXiv:2012.07199},
year = {2020}
}
备注
This submission has been accepted by AAAI2021