弥合想象与现实以改进基于模型的深度强化学习
机器学习
2020-10-26 v1
摘要
样本效率一直是深度强化学习的主要挑战之一。近期，基于模型的强化学习被提出以应对该挑战，其通过在习得的世界模型上对想象轨迹进行规划来实现。然而，世界模型学习可能过拟合于训练轨迹，从而基于模型的价值估计与策略搜索易陷入次优局部策略。本文提出一种新颖的基于模型的强化学习算法，称为弥合现实与梦境（BIRD）。它最大化想象轨迹与真实轨迹之间的互信息，从而使从想象轨迹中学得的策略改进能轻易泛化至真实轨迹。我们证明了该方法提升了基于模型规划的样本效率，并在具挑战性的视觉控制基准上取得最先进（SOTA）性能。
引用
@article{arxiv.2010.12142,
title = {Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning},
author = {Guangxiang Zhu and Minghao Zhang and Honglak Lee and Chongjie Zhang},
journal= {arXiv preprint arXiv:2010.12142},
year = {2020}
}
备注
Published on 34th Conference on Neural Information Processing Systems (NeurIPS 2020)