参数化转移分布下的鲁棒马尔可夫决策过程
最优化与控制
2022-11-24 v2
摘要
本文考虑参数化转移分布下的鲁棒马尔可夫决策过程。我们假设真实转移分布由某参数化分布唯一确定，并显式强制模型中的最坏情况分布由同一参数族中的某分布唯一确定。在建立参数化鲁棒模型后，我们专注于开发执行完成鲁棒值迭代所需的鲁棒Bellman更新的算法。我们首先通过离散化模糊集将更新表述为线性规划。由于该模型随问题规模扩大而表现不佳且需要大量预计算，我们开发了两种额外算法来求解鲁棒Bellman更新。首先，我们提出一种割平面算法以更短时间求解该线性规划。该算法需要相同预计算，但仅在模糊集的小子集上求解线性规划。其次，我们提出一种新颖的基于投影的二分搜索算法，完全消除离散化需求且不需要任何预计算。我们在二项需求和泊松需求下的动态多期报童问题上广泛测试了我们的算法。此外，我们将我们的方法与文献中基于非参数phi散度的方法进行比较。我们表明，我们的基于投影的算法完成鲁棒值迭代显著快于我们的其他两种参数化算法，也快于其非参数对应方法。
引用
@article{arxiv.2211.07488,
title = {Robust Markov decision processes under parametric transition distributions},
author = {Ben Black and Trivikram Dokka and Christopher Kirkbride},
journal= {arXiv preprint arXiv:2211.07488},
year = {2022}
}