带线性函数逼近的 SARSA 的有限样本分析
机器学习
2019-11-20 v3 机器学习
摘要
SARSA 是强化学习中学习马尔可夫决策过程策略的一种同策略算法。我们研究在非独立同分布数据下带线性函数逼近的 SARSA 算法，其中仅可获得单条样本轨迹。在足够光滑的 Lipschitz 连续策略改进算子下，SARSA 已被证明渐近收敛 \cite{perkins2003convergent,melo2008analysis}。然而，由于其非独立同分布样本以及行为策略随时间动态变化的事实，其非渐近分析具有挑战性且尚未解决。本文中，我们开发了一种新技术，显式刻画一类带时变马尔可夫转移核的随机逼近过程的随机偏差。我们的方法使得此类随机逼近算法的非渐近收敛分析成为可能，这本身可能具有独立意义。利用我们的偏差刻画技术和梯度下降型分析，我们给出了 SARSA 算法均方误差的有限样本分析。我们随后进一步研究了一种拟合 SARSA 算法，它将原始 SARSA 算法及其在 \cite{perkins2003convergent} 中的变体作为特例包含在内。该拟合 SARSA 算法为\textit{迭代}同策略拟合策略迭代提供了更通用的框架，其在内存与计算上更为高效。对于该拟合 SARSA 算法，我们也给出了其有限样本分析。
引用
@article{arxiv.1902.02234,
title = {Finite-Sample Analysis for SARSA with Linear Function Approximation},
author = {Shaofeng Zou and Tengyu Xu and Yingbin Liang},
journal= {arXiv preprint arXiv:1902.02234},
year = {2019}
}
备注
NeurIPS 2019