单策略浓度条件下基于前向 KL 正则化的离线情境型阈值快速收敛率

克隊-氏尔 (KL) 正则化在强化学习算法中以反向或前向 KL 形式广泛存在。最近的研究表明，在反向 KL 正则化下，决策问题可达到 $\epsilon^{-1}$ 类型的快速收敛率，与标准的 $\epsilon^{-2}$ 类型的样本复杂度形成鲜明对比。然而，对于前向 KL 正则化目标，现有的统计分析要么不可应用，要么导致 $\tilde{O}(\epsilon^{-2})$ 的慢速收敛率。我们首次通过对前向 KL 正则化离线情境型阈值进行简化分析，着手解决此问题。我们给出了在表格和通用函数逼近设置下的首个 $\tilde{O}(\epsilon^{-1})$ 上界，均基于单策略浓度概念。特别地，我们的凸分析管道通过一种新颖地方法利用乐观原则，完全绕过了基于平均值定理的前述证明流程，这可能具有独立的兴趣。此外，我们提供了率最优的下界，表明上界在统计率上具有紧致性。我们的下界还表明，前向 KL 正则化样本复杂度在低正则化 regime 下可恢复未正则化的慢速收敛率，类似于反向 KL 正则化。