通过原始对偶方法实现约束强化学习的零约束违反

强化学习广泛应用于需要在与环境交互时进行序贯决策的场合。当决策要求包含满足某些安全约束时，问题变得更具挑战性。该问题在数学上被表述为约束马尔可夫决策过程（CMDP）。在文献中，已有多种算法以无模型方式求解 CMDP 问题，以 $\epsilon$ 可行策略实现 $\epsilon$ 最优累积奖励。$\epsilon$ 可行策略意味着它存在约束违反。此处一个重要的问题是，我们能否在零约束违反下实现 $\epsilon$ 最优累积奖励。为实现这一点，我们主张使用随机化原始对偶方法来求解 CMDP 问题，并提出一种保守随机原始对偶算法（CSPDA），其被证明具有 $\tilde{\mathcal{O}}\left(1/\epsilon^2\right)$ 的样本复杂度，可在零约束违反下实现 $\epsilon$ 最优累积奖励。在先前工作中，零约束违反下 $\epsilon$ 最优策略的最佳可用样本复杂度为 $\tilde{\mathcal{O}}\left(1/\epsilon^5\right)$。因此，所提算法相较于当前最优水平提供了显著改进。