马尔可夫链基本定理的多种证明
概率论
2022-04-05 v1 数据结构与算法
摘要
本文综述了所谓“马尔可夫链基本定理”的多种证明:每个遍历马尔可夫链都有唯一的正平稳分布,且无论链初始分布如何,链在极限下均达到该分布。由于马尔可夫链是随机过程,使用基于概率的论证进行证明是自然的。同时,马尔可夫链的动力学完全由其初始分布(一个向量)与转移概率矩阵刻画,因此也可使用基于矩阵分析与线性代数的论证。下文讨论的证明使用了这两类论证之一,仅有一例为图论论证。正文给出了各证明的相应署名。我们的第一个证明完全初等,却也十分简洁。该证明还给出了一个混合时间界,我们给出了证明,但在许多情形下此界并非最优。证明基本定理的一种思路将证明分为两部分:(i) 证明不可约马尔可夫链存在唯一正平稳分布;(ii) 假设遍历链确有平稳分布,证明无论初始分布如何,链在极限下收敛于该分布。对(i),我们综述两种证明,一用概率论证,一用图论论证。对(ii),我们首先给出基于耦合的证明(耦合是一种基于概率的技术),另一则使用矩阵分析。最后,我们仅用线性代数概念给出基本定理的一个证明。
引用
@article{arxiv.2204.00784,
title = {Various proofs of the Fundamental Theorem of Markov Chains},
author = {Somenath Biswas},
journal= {arXiv preprint arXiv:2204.00784},
year = {2022}
}