通过分析底层确定性模型验证马尔可夫链不可约性与非周期性的可验证条件

我们考虑遵循以下一般非线性状态空间模型的马尔可夫链：$\Phi_{k+1} = F(\Phi_k, \alpha(\Phi_k, U_{k+1}))$，其中函数 $F$ 是 $C^1$ 的，而 $\alpha$ 通常是不连续的，且 $\{U_k: k \in \mathbb{Z}_{> 0} \}$ 是一个独立同分布过程。我们假设对所有 $x$，随机变量 $\alpha(x, U_1)$ 具有密度 $p_x$，使得 $(x, w) \mapsto p_x(w)$ 是下半连续的。我们推广并扩展了先前将底层确定性控制模型的性质联系起来的结果，为链的 $\varphi$-不可约性和非周期性提供了条件。基于这些结果，我们证明，如果对所有 $x$ 可控性矩阵的秩条件都满足，则控制模型全局吸引态的存在性与马尔可夫链的 $\varphi$-不可约性之间存在等价性。此外，在相同的可控性矩阵秩条件下，我们证明稳态吸引态的存在性与链的 $\varphi$-不可约性和非周期性之间存在等价性。稳态吸引态的概念是新的。这些结果在模型的假设上比先前要求 $(x,u) \mapsto F(x,\alpha(x,u))$ 为 $C^\infty$（而此处它可以是不连续的）的结果要弱得多。此外，在没有对控制集的结构性假设的情况下，建立了 $\varphi$-不可约性和非周期性的一个充要条件，这是新颖的——即使对于 $(x,u) \mapsto F(x,\alpha(x,u))$ 为 $C^\infty$ 的马尔可夫链也是如此。我们通过一个在自适应随机搜索算法背景下产生的、用于在黑箱场景中优化连续函数的非平凡且非人为的马尔可夫链例子，说明了这些条件易于验证。