利用 RKHS 嵌入建模 MDP 中的转移动态

我们提出了一种新的非参数方法，用于学习和表示马尔可夫决策过程（MDP）中的转移动态，该方法可轻松与动态规划方法结合以进行策略优化和值估计。该方法利用最近发展起来的条件分布在再生核希尔伯特空间（RKHS）中的\emph{嵌入}表示。此类表示避免了估计转移概率或密度的需求，并适用于任何可定义核的域。这避免了计算不可行积分的需求，因为期望被表示为 RKHS 内积，其计算复杂度与用于表示嵌入的点数呈线性关系。我们为 MDP 中的所提应用提供了保证：在值迭代算法的背景下，我们在合理假设下证明了其收敛于最优策略，或收敛于我们模型类（一个 RKHS）中最接近最优策略的投影。在实验中，我们调查了典型经典控制环境（欠驱动摆）中的学习任务，以及仅观测传感器图像的问题。对于策略优化，我们将方法与使用高斯过程进行值函数估计的最小二乘策略迭代进行了比较。对于值估计，我们还与 NPDP 方法进行了比较。我们的方法在所有实验中均取得了更好的性能。