信息在具有部分可观测服务器的系统稳定性中的作用
最优化与控制
2016-10-11 v1
摘要
我们考虑一个简单的离散时间受控排队系统，其中控制器在每个时隙可以选择使用哪个服务器，而服务器性能根据马尔可夫调制的随机环境变化。我们探索信息在系统稳定区域中的作用。在信息可用性的极端情况下，即当存在完全信息或无信息时，稳定区域和最大化稳定性的策略是平凡的。但在更现实的情况下，例如仅观测到所选服务器的环境状态、仅观测到服务成功或仅观测到队列长度时，寻找吞吐量最大化的控制律是一个挑战。为处理这些情况，我们设计了问题的部分可观测马尔可夫决策过程 (POMDP) 表述，并阐释了其解的性质。我们进一步利用拟生灭过程 (QBD) 结构，对给定决策规则下的系统进行建模，以找到稳定边界的矩阵解析表达式。我们利用此表述来说明稳定区域如何随着控制器信念状态数量的增加而扩大。本文的重点是两台服务器的简单情况，其中每台服务器的环境根据两状态马尔可夫链调制。尽管此情况看似简单，但在所考虑的各种信息机制下，似乎没有稳定区域的闭式描述。我们对 POMDP 贝尔曼方程的数值近似和 QBD 的数值解提示了多种结构性结果。
引用
@article{arxiv.1610.02781,
title = {The Role of Information in System Stability with Partially Observable Servers},
author = {Azam Asanjarani and Yoni Nazarathy},
journal= {arXiv preprint arXiv:1610.02781},
year = {2016}
}