基于 δ 后见信用分配的方差缩减优势估计
机器学习
2020-09-29 v4 人工智能
摘要
后见信用分配（HCA）指的是最近提出的一类用于在强化学习中产生更高效信用分配的方法。这些方法通过显式估计在给定当前信息的情况下过去采取某些动作的概率来工作。先前的工作研究了此类方法的特性并实证展示了其行为。我们通过引入一种特定的 HCA 算法来扩展该工作，在所需函数可被精确估计时，该算法具有可证明地低于常规蒙特卡洛估计器的方差。该结果为 HCA 如何能够广泛有用提供了坚实的理论基础。
引用
@article{arxiv.1911.08362,
title = {Variance Reduced Advantage Estimation with $\delta$ Hindsight Credit Assignment},
author = {Kenny Young},
journal= {arXiv preprint arXiv:1911.08362},
year = {2020}
}
备注
Removed incorrect sentence regarding policy gradients of any 2 different different actions necessarily being negative for softmax parameterization