马尔可夫决策过程中考虑信息加工约束与模型不确定性的规划
人工智能
2016-04-08 v1 系统与控制
摘要
信息论原理已被提出用于学习和行动，以解决特定类别的马尔可夫决策问题。从数学上看，此类方法受变分自由能原理支配，并允许解决具有信息加工约束的MDP规划问题，该约束以相对于参考分布的Kullback-Leibler散度表示。在此，我们考虑通过考虑模型不确定性来推广此类MDP规划器。由于模型不确定性也可形式化为信息加工约束，我们能够从单一的广义变分原理推导出统一解。我们提供了广义值迭代方案及收敛性证明。作为极限情况，该广义方案包含具有已知模型的标准值迭代、贝叶斯MDP规划和鲁棒规划。我们在网格世界模拟中展示了该方法的益处。
引用
@article{arxiv.1604.02080,
title = {Planning with Information-Processing Constraints and Model Uncertainty in Markov Decision Processes},
author = {Jordi Grau-Moya and Felix Leibfried and Tim Genewein and Daniel A. Braun},
journal= {arXiv preprint arXiv:1604.02080},
year = {2016}
}
备注
16 pages, 3 figures