中文

局部 Log-Polyak-Lojasiewicz 测度的 Poincaré 不等式:低温 regime 的非渐近分析

机器学习 2025-02-18 v3 经典分析与常微分方程 泛函分析 概率论 机器学习

摘要

高度相关的应用中的势函数(如深度学习中的过参数化情形)经观察到具有非孤立最小值的特性。为理解此类景观下随机动力学的收敛行为,我们提出研究 \logPLmeasure\logPLmeasure 测度类 μϵexp(V/ϵ)\mu_\epsilon \propto \exp(-V/\epsilon),其中势 VV 满足局部 Polyak-{\L}ojasiewicz (P\L) 不等式,其局部最小值的集合可证明为 \emph{连通的}。值得注意的是,该类势函数可表现为局部最大值,我们描述其最优集合 S 为 Rd\mathbb{R}^d 上的紧致 C2\mathcal{C}^2 \emph{嵌入子流形},无边界。S 的 \emph{非可约性}使我们函数类的性质与经典凸设置在拓扑学上具有区别。此外,嵌入结构在 S 上定义了一个自然的 Laplacian-Beltrami 算子,我们证明其第一个非平凡特征值为 \Poincare\Poincare 不等式中的 μϵ\mu_\epsilon 提供了 \emph{ϵ\epsilon-独立}的下界。作为直接结果,具有此类非凸势 VV 和扩散系数 ϵ\epsilon 的 Langevin 动力学在 ϵ\epsilon 足够小时,以 O~(1/ϵ)\tilde{\mathcal{O}}(1/\epsilon) 的速率收敛于其平衡 μϵ\mu_\epsilon。此处 O~\tilde{\mathcal{O}} 隐藏了对数项。

关键词

引用

@article{arxiv.2502.06862,
  title  = {Poincar\'e Inequality for Local Log-Polyak-Lojasiewicz Measures : Non-asymptotic Analysis in Low-temperature Regime},
  author = {Yun Gong and Zebang Shen and Niao He},
  journal= {arXiv preprint arXiv:2502.06862},
  year   = {2025}
}

备注

This work was intended as a replacement of arXiv:2501.00429 and any subsequent updates will appear there