用于计算马尔可夫系统基本量的广义基本矩阵

众所周知，基本矩阵 $(I - P + e \pi)^{-1}$ 在马尔可夫系统的性能分析中起着重要作用，其中 $P$ 是转移概率矩阵，$e$ 是全1列向量，$\pi$ 是稳态分布行向量。它用于计算平均准则下马尔可夫决策过程的性能势（相对值函数），例如 $g=(I - P + e \pi)^{-1} f$，其中 $g$ 是性能势列向量，$f$ 是奖励函数列向量。然而，我们需要计算 $\pi$ 后才能计算 $(I - P + e \pi)^{-1}$。本文中，我们推导了基本矩阵的推广形式 $(I - P + e r)^{-1}$，其中 $r$ 可以是任意满足 $r e \neq 0$ 的给定行向量。利用该广义基本矩阵，我们可以计算 $g=(I - P + e r)^{-1} f$。稳态分布计算为 $\pi = r(I - P + e r)^{-1}$。每个状态-动作对的 Q 因子也可类似计算。这些公式可能为进一步理解如何高效计算或估计马尔可夫系统中 $g$、$\pi$ 和 Q 因子的值提供一些见解，这些是马尔可夫系统性能优化的基本量。