马尔可夫决策过程的动态资本要求
最优化与控制
2024-01-12 v1
摘要
我们以资本要求（CRs）理论为基础，构建了一个用于建模动态风险偏好的新框架。关键问题是如何在新信息不断揭示的情况下，序贯地评估收益流的风险。在我们的模型中，我们将每个收益流与一个支付策略和一个保费计划相关联，形成一个三元随机过程组。我们用一个称为风险前沿的单一集合来刻画风险偏好，该集合定义了可接受的三元组。随后，我们提出广义资本要求（GCR），通过在可接受三元组上最小化保费计划来评估收益流的风险。我们将此模型应用于一个具有风险意识的决策者（DM），该决策者控制一个马尔可夫决策过程（MDP），并希望找到一个策略以最小化其收益流的 GCR。由此产生的 GCR-MDP 将许多众所周知的风险意识 MDP 作为特例涵盖。为使该方法在计算上可行，我们得到了 GCR 关于风险前沿的时间分解。然后，我们将时间分解与信息状态的概念联系起来，以紧凑地捕捉决策者风险偏好对问题历史的依赖性，在此情况下可使用增广动态规划来计算最优策略。我们报告了针对 GCR 最小化报童问题的数值实验。
引用
@article{arxiv.2401.06020,
title = {Dynamic Capital Requirements for Markov Decision Processes},
author = {William B. Haskell and Abhishek Gupta and Shiping Shao},
journal= {arXiv preprint arXiv:2401.06020},
year = {2024}
}