基于概率测度空间的无调参抽样优化方法
统计方法学
2025-10-30 v1 机器学习
摘要
我们引入了用于梯度基于抽样算法的时间离散化 Wasserstein 梯度流的自适应无调参步长方案。结果是一套包括无调参版本的 unadjusted Langevin 算法 (ULA)、随机梯度 Langevin 动力学 (SGLD)、mean-field Langevin 动力学 (MFLD)、Stein 变分梯度下降 (SVGD) 和变分梯度下降 (VGD) 的无调参抽样算法套件。更广泛地，我们的方法可产生解决一广泛类随机优化问题的无调参算法，这些问题在概率测度空间上进行。在温和假设下（例如测地凸性和局部有界随机梯度），我们为该方法建立了强有力的理论保证。特别是，我们在非光滑和光滑情形下，恢复了最优调参版本算法的收敛率，仅相差对数因子。我们随后对方法的性能进行基准测试。跨越多种任务，我们的算法在无需调节步长参数的情况下，实现了与现有算法最优性能相当的性能。
引用
@article{arxiv.2510.25315,
title = {Tuning-Free Sampling via Optimization on the Space of Probability Measures},
author = {Louis Sharrock and Christopher Nemeth},
journal= {arXiv preprint arXiv:2510.25315},
year = {2025}
}