随机集成双重Q学习:无模型快速学习

Xinyue Chen; Che Wang; Zijian Zhou; Keith Ross

随机集成双重Q学习:无模型快速学习

机器学习 2021-03-19 v2 人工智能

作者: Xinyue Chen , Che Wang , Zijian Zhou , Keith Ross

摘要

利用高更新数据比(UTD),基于模型的方法近期在连续动作深度强化学习(DRL)基准上取得了比以往无模型方法高得多的样本效率。本文引入一种简单的无模型算法——随机集成双重Q学习(REDQ),并表明其在MuJoCo基准上的性能与最先进的基于模型算法相当甚至更优。此外,REDQ可用比基于模型方法更少的参数及更短的挂钟运行时间实现该性能。REDQ具有三个精心整合的要素使其获得高性能:(i) UTD比>>1;(ii) Q函数集成;(iii) 集成中随机子集Q函数的目标内最小化。通过精心设计的实验,我们对REDQ及相关无模型算法提供了详细分析。据我们所知,REDQ是首个在连续动作空间使用UTD比>>1的成功无模型DRL算法。

关键词

无模型强化学习双重Q学习集成方法更新数据比连续动作空间样本效率 REDQ

引用

@article{arxiv.2101.05982,
  title  = {Randomized Ensembled Double Q-Learning: Learning Fast Without a Model},
  author = {Xinyue Chen and Che Wang and Zijian Zhou and Keith Ross},
  journal= {arXiv preprint arXiv:2101.05982},
  year   = {2021}
}

备注

Published as a conference paper at ICLR 2021

随机集成双重Q学习:无模型快速学习

摘要

关键词

引用

备注

相关论文