基于自由能范式的子空间强化学习
机器学习
2020-12-15 v1 信息论
math.IT
摘要
在大规模问题中，标准强化学习算法存在学习速度慢的问题。本文沿用利用子空间解决该问题的框架，提出一种用于子空间选择的自由能最小化框架，并将状态空间策略整合到子空间中。我们提出的自由能最小化框架基于子空间与状态空间的 Thompson 采样策略和行为策略，因此适用于多种任务，包括离散或连续状态空间、无模型与基于模型的任务。通过一组实验，我们表明该通用框架显著提高了学习速度。我们还给出了收敛性证明。
引用
@article{arxiv.2012.07091,
title = {Reinforcement Learning with Subspaces using Free Energy Paradigm},
author = {Milad Ghorbani and Reshad Hosseini and Seyed Pooya Shariatpanahi and Majid Nili Ahmadabadi},
journal= {arXiv preprint arXiv:2012.07091},
year = {2020}
}
备注
12 pages, preprint