基于扩散式平滑的采样式非凸优化全局收敛性
机器学习
2026-05-19 v1
摘要
采样式优化（SBO）如交叉熵法和进化算法在无梯度情境下求解非凸问题方面取得了许多成功，但其收敛性尚不为人所理解。本文通过平滑视角，为SBO建立非渐近收敛分析。具体而言，我们将SBO重构为平滑目标上的梯度下降，类似于扩散模型中的噪声条件得分上升。我们的第一贡献是对平滑目标的景观分析，阐明平滑如何帮助跳出局部最小值，并揭示一种根本的覆盖-最优性权衡：平滑通过扩大全球最小局部凸区域来使景观更友好，但以引入最优性间隙为代价。基于此洞察，我们为SBO算法建立了收敛保证，确保其收敛于全球最小的一个邻域。此外，我们提出了退火SBO算法——扩散式鼓励双退火（DIDA）——其可证明收敛于全局最优解。我们进行大量数值实验以验证景观结果，并展示DIDA在其他梯度-free优化方法中的卓越性能。最后，我们讨论了这些结果对扩散模型的含义。
引用
@article{arxiv.2605.16520,
title = {Global Convergence of Sampling-Based Nonconvex Optimization through Diffusion-Style Smoothing},
author = {Zeji Yi and Chaoyi Pan and Guanya Shi and Guannan Qu},
journal= {arXiv preprint arXiv:2605.16520},
year = {2026}
}
备注
57 pages, 5 figures