无噪声观测下连续时间马尔可夫链的最优控制
最优化与控制
2018-06-04 v2
摘要
我们考虑一个有限集 I 上连续时间马尔可夫链 X 在无噪声部分观测下的无限时域最优控制问题。观测过程定义为 Y_t = h(X_t)，t ≥ 0，其中 h 是定义在 I 上的给定映射。观测是无噪声的，意味着唯一的随机源是过程 X 本身。目标是极小化一个折扣代价泛函并研究相关的值函数 V。在利用滤波方程将部分观测控制问题转化为完全观测问题（分离问题）后，我们提供了与后一控制问题相关的值函数 v 和原始值函数 V 之间的联系。然后，我们给出了 v（并间接给出 V）的两种不同刻画：一方面作为适当定义的压缩映射的唯一不动点，另一方面作为 HJB 积分-微分方程的唯一约束粘性解（在 Soner 的意义下）。在适当假设下，我们最终证明了最优控制的存在性。
引用
@article{arxiv.1707.07202,
title = {Optimal control of continuous-time Markov chains with noise-free observation},
author = {Alessandro Calvia},
journal= {arXiv preprint arXiv:1707.07202},
year = {2018}
}