面向基于模型的强化学习的多模态转移动力学学习
机器学习
2017-08-09 v2 机器学习
摘要
在本文中，我们研究如何在强化学习（RL）任务中学习随机的、多模态的转移动力学。我们侧重于评估转移函数估计，而将此模型上的规划留待未来工作。随机性是许多任务环境的基本属性。然而，判别函数近似器难以估计多模态随机性。相反，深度生成模型确实能捕捉复杂的高维结果分布。首先我们讨论为何在此类模型中，条件变分推断（VI）在理论上对基于模型的 RL 最具吸引力。随后，我们在不同 VI 模型学习复杂随机性的能力上进行比较，包括模拟函数以及具有多模态动力学的典型 RL 网格世界。结果表明 VI 成功预测了多模态结果，同时也稳健地忽略转移动力学中确定性部分的这些结果。总之，我们展示了一种利用函数近似学习多模态转移的稳健方法，这是随机域中基于模型的 RL 的关键前提。
引用
@article{arxiv.1705.00470,
title = {Learning Multimodal Transition Dynamics for Model-Based Reinforcement Learning},
author = {Thomas M. Moerland and Joost Broekens and Catholijn M. Jonker},
journal= {arXiv preprint arXiv:1705.00470},
year = {2017}
}
备注
Scaling Up Reinforcement Learning (SURL) Workshop @ European Machine Learning Conference (ECML)