CMDP 中离屏策略学习的近最优原始对偶方法

作为安全强化学习的重要框架，约束马尔可夫决策过程(CMDP)在近期文献中已被广泛研究。然而，尽管在各种在策略学习设定下已有丰富结果，对于离屏 CMDP 问题，无论在算法设计还是信息论样本复杂度下界方面，仍缺乏一些本质理解。在本文中，我们专注于求解仅可获取离屏数据的 CMDP 问题。通过采用单策略可集中系数 $C^*$ 的概念，我们建立了离屏 CMDP 问题的 $\Omega\left(\frac{\min\left\{|\mathcal{S}||\mathcal{A}|,|\mathcal{S}|+I\right\} C^*}{(1-\gamma)^3\epsilon^2}\right)$ 样本复杂度下界，其中 $I$ 表示约束的数量。通过引入一种简单而新颖的偏差控制机制，我们提出了一种称为 DPDL 的近最优原始对偶学习算法。该算法可证明保证零约束违反，且其样本复杂度除一个 $\tilde{\mathcal{O}}((1-\gamma)^{-1})$ 因子外与上述下界匹配。文中还包含关于如何处理未知常数 $C^*$ 以及离屏数据集上潜在异步结构的全面讨论。