Actor-Critic 还是 Critic-Actor？一个关于双时间尺度的故事
机器学习
2024-06-21 v6
摘要
我们重新审视表格 actor-critic 算法的标准表述，将其视为一种双时间尺度随机逼近，其中值函数在较快时间尺度上计算，策略在较慢时间尺度上计算。这模拟了策略迭代。我们观察到时间尺度的反转实际上将模拟值迭代，并且是一种合法的算法。我们提供了收敛性证明，并在有无函数逼近（包括线性和非线性函数逼近器）的情况下对两者进行了经验比较，观察到我们提出的 critic-actor 算法在准确性和计算代价方面与 actor-critic 表现相当。
引用
@article{arxiv.2210.04470,
title = {Actor-Critic or Critic-Actor? A Tale of Two Time Scales},
author = {Shalabh Bhatnagar and Vivek S. Borkar and Soumyajit Guin},
journal= {arXiv preprint arXiv:2210.04470},
year = {2024}
}