通过Φ-互信息压缩刻画朗之万动力学及算法中样本的依赖性
统计理论
2025-06-30 v3 信息论
math.IT
机器学习
统计理论
摘要
马尔可夫链的混合时间决定了其迭代收敛到平稳分布的速度；然而，它并不控制马尔可夫链上样本之间的依赖性。本文研究在连续空间采样的常用马尔可夫链（连续时间的朗之万动力学、离散时间的未调整朗之万算法和近端采样器）中，样本变得近似独立的速度。我们通过Φ-互信息来度量样本之间的依赖性，这是标准互信息的一种广泛推广，当且仅当样本独立时其值为0。我们证明，沿着这些马尔可夫链，当目标分布是强对数凹时，第一个和第k个迭代之间的Φ-互信息以k的指数速度衰减到0。我们的证明技术基于证明强数据处理不等式（SDPI）在这些马尔可夫链上成立。为了证明马尔可夫链的快速混合，我们只需要证明SDPI对平稳分布成立。相比之下，为了证明Φ-互信息的压缩，我们需要证明SDPI沿着马尔可夫链的整个轨迹成立；当马尔可夫链上的迭代满足相应的Φ-索博列夫不等式时（这由目标分布的强对数凹性所蕴含），我们证明了这一点。
引用
@article{arxiv.2402.17067,
title = {Characterizing Dependence of Samples along the Langevin Dynamics and Algorithms via Contraction of $\Phi$-Mutual Information},
author = {Jiaming Liang and Siddharth Mitra and Andre Wibisono},
journal= {arXiv preprint arXiv:2402.17067},
year = {2025}
}
备注
Accepted at COLT 2025. 54 pages