马尔可夫决策模型最优值关于转移概率函数偏差的一阶敏感性
最优化与控制
2019-09-18 v1
摘要
实际应用的马尔可夫决策模型（MDM）通常比底层的“真实”MDM 更简单。模型复杂度的降低出于若干原因。然而，知晓何种模型简化是合理的（就最优值而言）、何种不合理显然是有意义的。本文提出一种解决此问题的方法。我们引入最优值作为转移概率函数的一类导数，可用于度量最优值对转移概率变化的（一阶）敏感性。对相当广的一类 MDM 可得到“可微性”，且“导数”被显式给出。我们的理论发现通过库存控制与数学金融中的优化问题加以说明。
引用
@article{arxiv.1909.07781,
title = {First-order sensitivity of the optimal value in a Markov decision model with respect to deviations in the transition probability function},
author = {Patrick Kern and Axel Simroth and Henryk Zähle},
journal= {arXiv preprint arXiv:1909.07781},
year = {2019}
}