马尔可夫框架下随机逼近的再审视：泊松方程的Lipschitz连续性
概率论
2025-10-02 v3 系统与控制
系统与控制
摘要
本文重新审视马尔可夫框架下随机逼近（SA）理论中的一个基本技术问题，该问题最初由Djereveckii和Fradkov（1981）的著作提出，并在Benveniste、M{\'e}tivier和Priouret（1990）的著作中得到详尽发展。该理论在诸多应用领域具有重要作用，例如电信中隐马尔可夫模型的统计分析、量化线性随机系统，以及近期的主动学习与强化学习。所面临的问题是在适当的加权上确界范数下，验证与一般状态空间上马尔可夫链集合相关的参数依赖泊松方程解的存在性、唯一性与Lipschitz连续性。上述事实的验证对于通过ODE（常微分方程）方法分析（Benveniste等，1990）中的SA过程至关重要，且需要大量的技术努力。本文的动机与重点是通过给出一组简单条件来解决这一技术问题，在这些条件下可便捷地建立上述泊松方程的性质。我们工作的起点是Hairer和Mattingly（2011）的一项精细结果，其证明通过微调马尔可夫链主流稳定性理论的标准条件，转移核在概率测度之差的空间中于合适度量下成为压缩映射。为证明我们结果的适用性，针对一类带开环控制的排队系统验证了所提条件。
引用
@article{arxiv.1906.09464,
title = {Stochastic Approximation in a Markovian Framework Revisited: Lipschitz Continuity of the Poisson Equation},
author = {Algo Carè and Balázs Csanád Csáji and Balázs Gerencsér and László Gerencsér and Miklós Rásonyi},
journal= {arXiv preprint arXiv:1906.09464},
year = {2025}
}