Langevin 蒙特卡罗算法在任意规模和数据下的深度二层神经网络学习中可证明收敛
机器学习
2025-08-20 v3 泛函分析
概率论
摘要
本文证明了Langevin 蒙特卡罗（Langevin Monte-Carlo）算法能够学习任意规模和任意数据的深度二层神经网络，并给出非渐近收敛速率。我们通过表明在q-Renyi 散度中，Langevin 蒙特卡罗的迭代收敛于Frobenius 范数正则化损失的Gibbs分布来实现这一目标，适用于使用光滑激活函数的情况，且适用于分类和回归设置。最关键的是，我们所需的正则化量与网络规模无关。这一结果综合了关于LMC收敛的若干最近观察：即在满足等距条件下，LMC收敛；以及二维神经网络损失函数始终可以被正则化，以满足Villani 条件，从而其Gibbs 测度满足Poincaré 不等式。
引用
@article{arxiv.2503.10428,
title = {Langevin Monte-Carlo Provably Learns Depth Two Neural Nets at Any Size and Data},
author = {Dibyakanti Kumar and Samyak Jha and Anirbit Mukherjee},
journal= {arXiv preprint arXiv:2503.10428},
year = {2025}
}