简单策略迭代下界的分析

策略迭代是一类用于为给定马尔可夫决策问题（MDP）寻找最优策略的算法。简单策略迭代（SPI）是一种策略迭代，其策略是在每一步恰好在一个可改进状态处改变策略。Melekopoglou 与 Condon [1990] 给出了 SPI 在 2 动作 MDP 上迭代次数的指数下界。此后该结果未被推广到 $k-$动作 MDP。本文中，我们重新审视 Melekopoglou 与 Condon 的算法与分析。我们推广了先前的结果，并证明了策略迭代在 $N-$状态、$k-$动作 MDP 上迭代次数的一个新指数下界。我们构造了一族 MDP，并给出了一种基于索引的切换规则，其产生了 $\mathcal{O}\big((3+k)2^{N/2-3}\big)$ 的强下界。