Rollout 采样近似策略迭代算法及其界

最近提出了几种不使用价值函数的近似策略迭代方案，这些方案专注于使用分类器进行策略表示，并将策略学习视为监督学习问题。利用此类方法寻找优良策略不仅需要合适的分类器，还需要覆盖状态空间的可靠最佳动作样本。迄今为止，关于适当覆盖方案以及降低此类方法样本复杂度的方法（尤其是在连续状态空间中）的研究甚少。本文聚焦于最简单的覆盖方案（状态空间上的离散网格），并对最简单的（且此前常用的）rollout 采样分配策略与一种几乎同样简单但仅需按需分配样本且所需样本显著更少的方法进行了样本复杂度比较。