分层线性可解马尔可夫决策问题
人工智能
2016-03-11 v1
摘要
我们提出一种分层强化学习框架，将层次结构中的每项任务表述为一类特殊的马尔可夫决策过程，其贝尔曼方程为线性且具有解析解。此类问题称为线性可解MDP（LMDP），具有可在分层设置中利用的有趣性质，例如最优值函数的高效学习或任务组合性。所提出的分层方法也可视为求解大状态空间LMDP的一种新颖替代方案。我们推导了所谓Z-learning算法的分层版本，可同时学习不同任务，并通过实证表明其在两个经典分层强化学习领域——出租车领域和自动导引车任务——中显著优于最先进的学习方法。
引用
@article{arxiv.1603.03267,
title = {Hierarchical Linearly-Solvable Markov Decision Problems},
author = {Anders Jonsson and Vicenç Gómez},
journal= {arXiv preprint arXiv:1603.03267},
year = {2016}
}
备注
11 pages, 6 figures, 26th International Conference on Automated Planning and Scheduling