通过强数据处理不等式分析相对 Fisher 信息下近端抽样器的混合时间
信息论
2025-07-01 v2 机器学习
math.IT
最优化与控制
统计理论
统计理论
摘要
我们研究了近端抽样器(Proximal Sampler)算法在相对 Fisher 信息中的混合时间保证,该算法是 Langevin 动力学的一种近似近端离散化。我们证明,当目标概率分布为强对数凸时,相对 Fisher 信息沿近端抽样器的收敛呈指数速率;这与目标分布为强对数凸时的连续时间 Langevin 动力学中相对 Fisher 信息的指数收敛速率相匹配。当结合标准的近端抽样器实现(通过重采样)时,这一指数收敛速率为目标分布为强对数凸且光滑的情形下提供了高精度的迭代复杂度保证。我们的证明通过在强对数凸条件下建立相对 Fisher 信息沿高斯通道的强数据处理不等式,以及针对特殊分布在逆高斯通道下建立数据处理不等式来实现。前向和逆高斯通道组合形成近端抽样器,这些数据处理不等式意味着相对 Fisher 信息沿近端抽样器的指数收敛速率。
引用
@article{arxiv.2502.05623,
title = {Mixing Time of the Proximal Sampler in Relative Fisher Information via Strong Data Processing Inequality},
author = {Andre Wibisono},
journal= {arXiv preprint arXiv:2502.05623},
year = {2025}
}
备注
v2: Extended abstract accepted for presentation at Conference on Learning Theory (COLT) 2025