Φ-散度下非调整朗之万算法与近端采样器的快速收敛
统计理论
2025-02-13 v2 信息论
math.IT
机器学习
统计理论
摘要
我们研究了两种流行的连续空间离散时间马尔可夫链——非调整朗之万算法和近端采样器（朗之万动力学的离散化）的混合时间。我们将这些马尔可夫链的混合时间分析推广到Φ-散度。我们证明，由满足一定条件的严格凸函数Φ导出的任何Φ-散度，在这些马尔可夫链下都以指数速度收敛到0，前提是它们的平稳分布满足相应的Φ-Sobolev不等式，例如当朗之万动力学的目标分布是强对数凹时。我们的框架包含了特殊情况，如Poincaré不等式下的χ²散度混合，以及对数Sobolev不等式下的相对熵混合。我们的结果通过将采样算法视为噪声信道，并界定适当强数据处理不等式中的收缩系数来获得。
关键词
引用
@article{arxiv.2410.10699,
title = {Fast Convergence of $\Phi$-Divergence Along the Unadjusted Langevin Algorithm and Proximal Sampler},
author = {Siddharth Mitra and Andre Wibisono},
journal= {arXiv preprint arXiv:2410.10699},
year = {2025}
}
备注
v2: Minor changes and reorganization. Accepted at ALT 2025