中文

通过双层方法实现针对有符号测度的均值场 Langevin 动力学

最优化与控制 2025-01-03 v3 机器学习

摘要

均值场 Langevin 动力学 (MLFD) 是一类处理流形上概率测度上的凸优化的相互作用粒子方法,具有可扩展性、通用性以及计算保证。然而,一些重要问题——如面向宽度为无限的两层神经网络的风险最小化,或稀疏反卷积——最初是在有符号测度的集合上定义的。本文我们探讨如何将 MLFD 框架扩展到针对有符号测度的凸优化问题。关于将有符号测度降维为概率测度的两种已知方法——提升法和双层方法——我们证明双层方法可获得更强的保证并实现更快的收敛速度(以较高的每迭代复杂度为代价)。特别地,我们研究了 MLFD 应用于双层方法降序在低噪声 regime 中的收敛率,获得两个结果:第一,此动力学可用于适用于 Suzuki 等人 (2023) 的退火计划,以实现对固定乘法精度的改进收敛率。其次,我们研究学习单个神经元的问题,并获得依赖于维数和噪声水平的局部指数收敛率(与先前分析相比,后者会导致指数依赖)。

关键词

引用

@article{arxiv.2406.17054,
  title  = {Mean-Field Langevin Dynamics for Signed Measures via a Bilevel Approach},
  author = {Guillaume Wang and Alireza Mousavi-Hosseini and Lénaïc Chizat},
  journal= {arXiv preprint arXiv:2406.17054},
  year   = {2025}
}

备注

53 pages, 1 figure, to appear in NeurIPS 2024 Proceedings