基于倒向随机微分方程方法的半马尔可夫过程最优控制
最优化与控制
2015-05-27 v3
摘要
在本工作中，我们首次利用倒向随机微分方程 (BSDEs) 研究有限视界上具有通用状态空间和动作空间的半马尔可夫过程的最优控制。更确切地说，我们证明了值函数和最优控制律可以通过由半马尔可夫过程或其关联的随机测度驱动的一类 BSDEs 的解来表示。与纯跳跃马尔可夫情形相比，半马尔可夫框架的特殊性在于 BSDE 与最优控制问题之间关系的证明。这通常是通过 Hamilton-Jacobi-Bellman (HJB) 方程完成的，然而在 semi-Markov 情形下，该方程的特征是包含一个额外的微分项 。考虑到半马尔可夫过程的特殊结构，我们将 HJB 方程重写为合适的积分形式，其中涉及与 相关的方向导数算子 。然后，利用专为半马尔可夫过程定制的 Ito 型公式和算子 ，我们能够证明 BSDE 提供了 HJB 方程的唯一经典解，该解被证明是我们控制问题的值函数。
引用
@article{arxiv.1311.1063,
title = {Optimal control of semi-Markov processes with a backward stochastic differential equations approach},
author = {Elena Bandini and Fulvia Confortola},
journal= {arXiv preprint arXiv:1311.1063},
year = {2015}
}
备注
arXiv admin note: text overlap with arXiv:1302.0679