近似马尔可夫链中单个状态的平稳概率

在本文中，我们提出了一种新颖的迭代蒙特卡洛方法，用于近似正回归马尔可夫链中单个状态的平稳概率。我们利用了这样一个特征：状态$i$的平稳概率与从$i$开始的随机游走的期望返回时间成反比。我们的方法在所有迭代中使用最多$\tilde{O}\left(t_{\text{mix}} \ln(1/\alpha) / \pi_i \epsilon^2 \right)$次模拟马尔可夫链随机游走步数，以大于$1 - \alpha$的概率获得$\epsilon$乘法接近的估计值，其中$t_{\text{mix}}$是标准混合时间，$\pi_i$是平稳概率。此外，每次迭代的估计值都以高概率保证为上界，并且随迭代次数在期望上递减，使我们能够监控算法进度并设计有效的终止准则。我们提出了一种终止准则，该准则保证对于平稳概率大于$\Delta$的状态，其乘法误差性能为$\epsilon (1 + 4 \ln(2) t_{\text{mix}})$，同时为平稳概率小于$\Delta \in (0,1)$的状态提供加法误差。该算法连同此终止准则最多使用$\tilde{O}\left(\frac{\ln(1/\alpha)}{\epsilon^2} \min\left(\frac{t_{\text{mix}}}{\pi_i}, \frac{1}{\epsilon \Delta}\right)\right)$次模拟随机游走步数，该值相对于马尔可夫链是有界的常数。我们基于混合时间的局部加权变体对算法进行了紧密分析。我们的结果通过 Lyapunov 函数分析自然地扩展到了可数无限状态空间的马尔可夫链。