论在基于学习模型的规划中利用结构信息的益处

基于模型的强化学习（RL）将学习与规划相结合，近年来受到越来越多的关注。然而，由于需要对每个状态-动作对获取足够数量的样本，学习模型可能带来显著的代价（就样本复杂度而言）。在本文中，我们研究了利用系统结构信息以降低样本复杂度的益处。具体而言，我们考虑转移概率矩阵是若干结构参数的已知函数、但其值初始未知的情形。然后我们考虑基于与环境交互来估计这些参数的问题。我们将 Q 估计值与最优 Q 值之间的差异刻画为样本数量的函数。我们的分析表明，利用模型的结构信息可以显著节省样本复杂度。我们通过考虑若干问题来说明这些发现，包括具有异构服务器的排队系统控制，以及在随机有风网格世界中寻找最优路径。