Stein Boltzmann 采样：一种用于全局优化的变分方法
最优化与控制
2025-02-21 v6 机器学习
摘要
在本文中，我们提出了一种用于连续 Sobolev 函数全局优化的基于流的方法，称为 Stein Boltzmann 采样 (SBS)。SBS 均匀初始化若干代表候选解的粒子，然后使用 Stein 变分梯度下降 (SVGD) 算法确定性地顺序移动这些粒子，以逼近一个质量集中在被优化函数定义域内有希望区域的目标分布。该目标分布被选为适当参数化的 Boltzmann 分布。为了实现全局优化，我们调整了通用 SVGD 理论框架，使其能够处理 紧子集上更一般的目标分布，并证明了 SBS 的渐近收敛性。除主 SBS 算法外，我们还提出了两种变体：包含粒子滤波策略的 SBS-PF，以及使用 SBS 或 SBS-PF 作为其他基于粒子或分布的优化方法后续的 SBS-HYBRID。在基准函数上与最先进方法的详细比较表明，SBS 及其变体极具竞争力，而两种变体的结合在精度与计算成本之间提供了最佳折中。
引用
@article{arxiv.2402.04689,
title = {Stein Boltzmann Sampling: A Variational Approach for Global Optimization},
author = {Gaëtan Serré and Argyris Kalogeratos and Nicolas Vayatis},
journal= {arXiv preprint arXiv:2402.04689},
year = {2025}
}