深度学习用于马尔可夫链：Lyapunov 函数、泊松方程与平稳分布
机器学习
2025-08-26 v1 概率论
摘要
Lyapunov 函数对于建立马尔可夫模型的稳定性具有根本性意义，但其构建通常需要 substantial creativity 和分析性努力。在本文中，我们展示了深度学习可以自动化这一过程，通过训练神经网络来满足源自首次转移分析的积分方程。除了稳定性分析之外，我们的方法还可以 adapted 来解方程并估计平稳分布。尽管神经网络本质上是紧凑域上函数逼近器，但结果发现，我们的方法在应用于非紧凑状态空间上的马尔可夫链时仍然有效。我们通过排队理论等多个实例演示了该方法的有效性。
关键词
引用
@article{arxiv.2508.16737,
title = {Deep Learning for Markov Chains: Lyapunov Functions, Poisson's Equation, and Stationary Distributions},
author = {Yanlin Qu and Jose Blanchet and Peter Glynn},
journal= {arXiv preprint arXiv:2508.16737},
year = {2025}
}