因子化平均奖赏 MDP 中的改进探索

我们在未知因子化马尔可夫决策过程(FMDP)下考虑平均奖赏准则中的后悔最小化任务。更具体地，我们考虑一个 FMDP，其中状态-动作空间 $\mathcal X$ 与状态空间 $\mathcal S$ 分别具有因子化形式 $\mathcal X = \otimes_{i=1}^n \mathcal X_i$ 与 $\mathcal S=\otimes_{i=1}^m \mathcal S_i$，且转移与奖赏函数关于 $\mathcal X$ 与 $\mathcal S$ 因子化。在已知因子化结构的假设下，我们受流行的 UCRL2 策略启发引入一种新颖的后悔最小化策略，称为 DBN-UCRL，其依赖于为转移函数各元素定义的 Bernstein 型置信集。我们证明对于通用因子化结构，DBN-UCRL 达到的后悔界其首项在关于 $\mathcal S_i$ 大小及所涉直径相关项的依赖上严格优于现有后悔界。我们进一步证明当因子化结构对应于若干基 MDP 的笛卡尔积时，DBN-UCRL 的后悔由上界为基 MDP 后悔之和。我们通过标准环境中的数值实验表明，DBN-UCRL 在经验上相比具有频率主义后悔保证的现有算法享有显著改进的后悔。