快速生成与剪枝 (FS&P)：基于生灭过程的随机锥粒子梯度下降的全局收敛性
最优化与控制
2026-05-20 v1 概率论
统计理论
机器学习
统计理论
摘要
我们研究了连续稀疏回归（特别是 Beurling LASSO (BLASSO)）在测度空间上的目标函数的全局优化问题。虽然锥粒子梯度下降 (CPGD) 方法计算效率高，但由于参数化的非凸性，它们可能陷入局部极小值。为克服这一局限，我们引入了快速生成与剪枝 (FS&P)，这是一种随机算法，它扩展了 De Castro 等人 (2025) 提出的 FastPart，并将 CPGD 与生灭过程相结合。生成机制通过在一阶最优性条件被违反的区域引入粒子来确保渐近全局探索，而死亡过程则通过剪枝非信息性粒子来保持计算效率。我们首次为这类离散时间随机算法提供了全局收敛性的理论保证，且无需指数级大的初始化。此外，我们推导了超额风险的显式收敛速率，其尺度为 ，其中 表示迭代次数， 表示域的维度，从而量化了全局探索与局部细化之间的权衡。此外，样本复杂度为 （忽略对数因子）。我们还提出了一种无界变体，它不需要预先知道迭代预算。
引用
@article{arxiv.2605.19784,
title = {Fast Spawn\&Prune (FS\&P): Global convergence of stochastic conic particle gradient descent via birth/death process},
author = {Yohann De Castro and Sébastien Gadat and Clément Marteau},
journal= {arXiv preprint arXiv:2605.19784},
year = {2026}
}