奖励加权回归收敛到全局最优解
机器学习
2022-02-24 v3 人工智能
机器学习
摘要
奖励加权回归（RWR）属于一类广为人知的基于期望最大化框架的迭代强化学习算法。在该类算法中，每次迭代的学习包括使用当前策略采样一批轨迹，并拟合一个新策略以最大化回报加权的动作对数似然。尽管已知 RWR 在特定情况下能带来策略的单调改进，但 RWR 是否以及在何种条件下收敛到最优策略仍是未决问题。在本文中，我们首次证明，在不使用函数近似的一般紧致设定下，RWR 收敛到全局最优解。此外，对于具有有限状态和动作空间的更简单情形，我们证明了状态值函数以 R-线性速率收敛到最优值。
引用
@article{arxiv.2107.09088,
title = {Reward-Weighted Regression Converges to a Global Optimum},
author = {Miroslav Štrupl and Francesco Faccio and Dylan R. Ashley and Rupesh Kumar Srivastava and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2107.09088},
year = {2022}
}
备注
7 pages in main text + 2 pages of references + 6 pages of appendices, 1 figure in main text + 1 figure in appendices; source code available at https://github.com/dylanashley/reward-weighted-regression