梯度时序差分学习的新版本
机器学习
2024-01-23 v4
摘要
Sutton、Szepesvári和Maei提出了首批兼容线性函数逼近和离策略训练的梯度时序差分（GTD）学习算法。本文的目标是（a）提出一些GTD的变体并进行广泛的比较分析，以及（b）为GTD建立新的理论分析框架。这些变体基于GTD的凸-凹鞍点解释，该解释有效地将所有GTD统一到一个单一框架中，并基于最近关于原始-对偶梯度动力学的成果提供了简单的稳定性分析。最后，给出了数值比较分析以评估这些方法。
引用
@article{arxiv.2109.04033,
title = {New Versions of Gradient Temporal Difference Learning},
author = {Donghwan Lee and Han-Dong Lim and Jihoon Park and Okyong Choi},
journal= {arXiv preprint arXiv:2109.04033},
year = {2024}
}