马尔可夫决策过程中对参数不确定性的风险厌恶及其在缓发灾害救援中的应用
最优化与控制
2019-06-24 v2
摘要
在经典马尔可夫决策过程（MDPs）中，动作代价与转移概率被假定为已知，尽管这些参数的精确估计在实践中往往不可能。本研究处理代价与转移概率不确定性下的 MDPs，旨在提供一个数学框架以获得最小化因不知真实系统参数而导致高长期损失风险的政策。为此，我们利用与 MDP 模型在参数不确定性下的期望性能相关的风险度量 value-at-risk。我们针对此类不确定参数有限分布下的风险厌恶 MDP 模型，给出混合整数线性与非线性规划公式以及启发式算法。我们提出的模型与求解方法在缓发灾害期间人道救援行动的库存管理问题上加以说明。结果展示了我们的风险厌恶建模方法在不确定/风险环境中降低极不理想结果风险的潜力。
引用
@article{arxiv.1902.08886,
title = {Risk Aversion to Parameter Uncertainty in Markov Decision Processes with an Application to Slow-Onset Disaster Relief},
author = {Merve Merakli and Simge Kucukyavuz},
journal= {arXiv preprint arXiv:1902.08886},
year = {2019}
}