面向贝叶斯风险马尔可夫决策过程的近似双层差分凸规划
系统与控制
2024-12-23 v2 系统与控制
摘要
我们考虑无限时域马尔可夫决策过程，其中转移概率等参数未知且由数据估计。解决参数不确定性的流行分布鲁棒方法有时过于保守。本文利用近期提出的贝叶斯风险马尔可夫决策过程(BR-MDP)公式来处理MDP中的参数(或认知)不确定性。为求解带一类凸风险度量的无限时域BR-MDP，我们提出了一种计算高效的方法，称为近似双层差分凸规划(ABDCP)。优化离线执行，生成以有限状态控制器表示且具有理想性能保证的最优策略。我们还展示了BR-MDP公式及所提算法的实证性能。
引用
@article{arxiv.2301.11415,
title = {Approximate Bilevel Difference Convex Programming for Bayesian Risk Markov Decision Processes},
author = {Yifan Lin and Enlu Zhou},
journal= {arXiv preprint arXiv:2301.11415},
year = {2024}
}