GradientDICE：重新思考平稳值的广义离线估计
机器学习
2020-11-30 v7 机器学习
摘要
我们提出 GradientDICE，用于估计离屏强化学习中目标策略的状态分布与采样分布之间的密度比。GradientDICE 修正了 GenDICE（Zhang et al., 2020）的几个问题，GenDICE 是估计此类密度比的最先进方法。即，GenDICE 中的优化问题一旦引入优化变量参数化中的非线性以确保正值性，就不再是凸-凹鞍点问题，因此任何原始-对偶算法都不能保证收敛或找到所需解。然而，这种非线性对于即使使用表格表示也能确保 GenDICE 的一致性至关重要。这是由 GenDICE 对优化问题的原始表述导致的根本性矛盾。在 GradientDICE 中，我们通过使用 Perron-Frobenius 定理并消除 GenDICE 对散度的使用，优化了与 GenDICE 不同的目标。因此，参数化中的非线性对 GradientDICE 并非必要，其在线性函数近似下可证明收敛。
引用
@article{arxiv.2001.11113,
title = {GradientDICE: Rethinking Generalized Offline Estimation of Stationary Values},
author = {Shangtong Zhang and Bo Liu and Shimon Whiteson},
journal= {arXiv preprint arXiv:2001.11113},
year = {2020}
}
备注
ICML 2020