GenDICE：平稳值的广义离线估计
机器学习
2020-02-24 v1 机器学习
摘要
在强化学习和蒙特卡洛方法中出现的一个重要问题是估计由马尔可夫链平稳分布所定义的量。在许多真实世界应用中，对底层转移算子的访问仅限于一组已收集的固定数据，无法再与环境进行额外交互。我们表明，在这一极具挑战的情形下一致估计仍是可能的，并且在重要应用中仍可实现有效估计。我们的方法基于估计一个校正平稳分布与经验分布之间偏差的比值，该比值源自平稳分布的基本特性，并利用基于变分散度最小化的约束重构。所得算法 GenDICE 简明且有效。我们证明了其在一般条件下的相合性，给出了误差分析，并在基准问题上展示了强劲的实证性能，包括离线 PageRank 和离策略策略评估。
引用
@article{arxiv.2002.09072,
title = {GenDICE: Generalized Offline Estimation of Stationary Values},
author = {Ruiyi Zhang and Bo Dai and Lihong Li and Dale Schuurmans},
journal= {arXiv preprint arXiv:2002.09072},
year = {2020}
}
备注
ICLR 2020