粒子梯度下降的误差界及 log-Sobolev 与 Talagrand 不等式的推广
机器学习
2025-07-17 v3 泛函分析
最优化与控制
统计计算
机器学习
摘要
我们证明了粒子梯度下降（PGD, Kuntz et al., 2023）的非渐近误差界，这是一种近期提出的用于大型潜变量模型极大似然估计的算法，通过对自由能的梯度流进行离散化得到。我们首先证明，对于满足某种条件的模型，该流以指数速度收敛到自由能的极小化点，该条件推广了 log-Sobolev 不等式和 Polyak--Łojasiewicz 不等式（分别为 LSI 和 PŁI）。我们通过推广最优输运文献中熟知的一个结果（即 LSI 蕴含 Talagrand 不等式）及其在优化文献中的对应结果（即 PŁI 蕴含所谓的二次增长条件），并将该推广应用于我们的新设定来实现这一点。我们还推广了 Bakry--Émery 定理，并证明对于具有强对数似然的模型，LSI/PŁI 的推广成立。对于此类模型，我们进一步控制了 PGD 的离散化误差并获得了非渐近误差界。虽然我们的研究动机是 PGD，但我们相信所推广的不等式和结果可能具有独立的意义。
引用
@article{arxiv.2403.02004,
title = {Error bounds for particle gradient descent, and extensions of the log-Sobolev and Talagrand inequalities},
author = {Rocco Caprio and Juan Kuntz and Samuel Power and Adam M. Johansen},
journal= {arXiv preprint arXiv:2403.02004},
year = {2025}
}