基于随机小批量算子的并行灵活动态规划

贝尔曼算子构成了动态规划（DP）的基础。高斯-赛德尔算子提供了一种替代方案，其求值不同于一次性处理所有状态的贝尔曼算子，而是逐状态更新，并将中间结果纳入计算。基于高斯-赛德尔算子的DP方法具有可证明更优的收敛速率，代价是固有的序列性，阻碍了现代多核系统的利用。本文提出一种用于动态规划的新算子，即随机小批量算子，旨在实现基于高斯-赛德尔算子方法的更优收敛速率与贝尔曼算子所提供的并行能力之间的权衡。在引入新算子后，我们进行了验证其基本性质的理论分析。这些性质使得新算子能成功部署于主要动态规划方案中，如值迭代与修正策略迭代。我们将基于新算子的DP算法与其早期对应算法的收敛性进行比较，阐明新公式的算法优势以及批量大小参数对收敛的影响。最后，对新引入的算子进行了广泛的数值评估。与理论推导一致，数值结果显示了所提算子的竞争性能及其优越灵活性，使其能根据不同MDP结构与硬件配置调整迭代效率。