带线性函数近似的SARSA的收敛性：随机时域情形
机器学习
2023-06-08 v1
摘要
结合线性函数近似的强化学习算法SARSA已被证明对无限时域折扣马尔可夫决策问题(MDPs)收敛。在本文中，我们研究该算法在随机时域MDPs上的收敛性，此前尚未有相关证明。我们表明，类似于先前针对无限时域折扣MDPs的结果，若行为策略关于线性函数近似的权重向量是-软且Lipschitz连续的，且Lipschitz常数足够小，则在考虑随机时域MDP时，该算法将以概率一收敛。
引用
@article{arxiv.2306.04548,
title = {Convergence of SARSA with linear function approximation: The random horizon case},
author = {Lina Palmborg},
journal= {arXiv preprint arXiv:2306.04548},
year = {2023}
}