为无模型蒙特卡洛分解外生状态
机器学习
2017-11-07 v2 机器学习
摘要
政策分析师希望为大型模拟器定义的马尔可夫决策过程 (MDP) 可视化一系列策略。一种可视化方法是调用模拟器生成在线策略轨迹，然后对这些轨迹进行可视化。当模拟器运行成本高昂时，这不切实际，需要某种方法在不调用模拟器的情况下为新策略生成轨迹。无模型蒙特卡洛 (Model-Free Monte Carlo, MFMC) 方法可以通过将基于其他策略先前采样的轨迹的状态转移拼接起来，为新策略生成轨迹。这种“离策略蒙特卡洛模拟”方法在状态空间维度较低时效果良好，但随着维度的增加会失效。本文描述了一种分解部分状态和动作变量的方法，使得 MFMC 能够在高维 MDP 中工作。这种新方法 MFMCi 在一个极具挑战性的野火管理 MDP 上进行了评估。
引用
@article{arxiv.1703.09390,
title = {Factoring Exogenous State for Model-Free Monte Carlo},
author = {Sean McGregor and Rachel Houtman and Claire Montgomery and Ronald Metoyer and Thomas G. Dietterich},
journal= {arXiv preprint arXiv:1703.09390},
year = {2017}
}
备注
9 pages, 5 figures. Corrected equation 4