无界单步成本 MDP 中的模型近似

我们考虑在只能访问一个近似模型 $\hat{\mathcal{M}}$ 的情况下，为无限时域折扣成本马尔可夫决策过程 $\mathcal{M}$ 设计控制策略的问题。近似模型的最优策略 $\hat{\pi}^{\star}$ 在原始模型 $\mathcal{M}$ 中使用时表现如何？我们通过界定 $\hat{\pi}^\star$ 在 $\mathcal{M}$ 中的价值函数与 $\mathcal{M}$ 的最优价值函数之差的加权范数来回答这个问题。然后，我们扩展了结果，通过考虑单步成本的仿射变换，获得了可能更紧的上界。我们进一步提供了明确依赖于原始模型和近似模型的成本函数之间的加权距离以及转移核之间的加权距离的上界。我们给出示例来说明我们的结果。