基于路径集成次序统计量的优势有偏估计
机器学习
2019-09-17 v1 机器学习
摘要
优势估计对许多强化学习算法至关重要，因其直接影响未来路径的选择。本工作中，我们提出一类基于路径集成上次序统计量的估计，其允许灵活地驱动学习过程趋向或规避风险。在此表述之上，我们系统研究了不同优势估计方法的影响。我们的发现揭示，恰当选择的有偏估计可带来显著收益。特别地，对于稀疏奖励环境，乐观估计会引致策略空间更高效的探索；而对于单个动作可能产生关键影响的环境，保守估计更为可取。在包括 MuJoCo 连续控制、Terrain 运动、Atari 游戏及稀疏奖励环境在内的多种基准上，所提有偏估计方案相较主流方法一致展现出改进，不仅加速了学习过程，还获得了可观的性能提升。
引用
@article{arxiv.1909.06851,
title = {Biased Estimates of Advantages over Path Ensembles},
author = {Lanxin Lei and Zhizhong Li and Dahua Lin},
journal= {arXiv preprint arXiv:1909.06851},
year = {2019}
}