通过离策略评估统一元强化学习中的梯度估计器
机器学习
2021-11-04 v2
摘要
与模型无关的元强化学习需要估计值函数的 Hessian 矩阵。从实现角度看这具有挑战性，因为对策略梯度估计反复求导可能导致有偏的 Hessian 估计。在本工作中，我们基于离策略评估提供了一个估计值函数高阶导数的统一框架。我们的框架将若干已有方法解释为特例，并阐明了 Hessian 估计的偏差与方差权衡。该框架还开启了一类新估计的大门，它们可借助自动微分库轻松实现，并在实践中带来性能提升。
引用
@article{arxiv.2106.13125,
title = {Unifying Gradient Estimators for Meta-Reinforcement Learning via Off-Policy Evaluation},
author = {Yunhao Tang and Tadashi Kozuno and Mark Rowland and Rémi Munos and Michal Valko},
journal= {arXiv preprint arXiv:2106.13125},
year = {2021}
}
备注
Accepted at Neural Information Processing Systems (NeurIPS), 2021. Code is available at https://github.com/robintyh1/neurips2021-meta-gradient-offpolicy-evaluation