噪声SVGD在种群极限外的长时间渐近行为
机器学习
2024-06-24 v2 概率论
摘要
斯坦因变分梯度下降（SVGD）是一种广泛使用的采样算法，已成功应用于机器学习的多个领域。SVGD通过迭代移动一组相互作用的粒子（代表样本）来逼近目标分布。尽管最近对SVGD及其变体的复杂度进行了研究，但在有限粒子数情况下，它们的长时间渐近行为（即经过大量迭代后）仍未被理解。我们研究了SVGD的一种噪声变体的长时间渐近行为。首先，我们证明了噪声SVGD在极限下的极限集是良定义的。然后，我们刻画了这个极限集，表明随着粒子数的增加，它趋近于目标分布。特别地，噪声SVGD可证明地避免了SVGD中观察到的方差坍缩。我们的方法涉及证明噪声SVGD的轨迹与McKean-Vlasov过程描述的轨迹非常相似。
引用
@article{arxiv.2406.11929,
title = {Long-time asymptotics of noisy SVGD outside the population limit},
author = {Victor Priser and Pascal Bianchi and Adil Salim},
journal= {arXiv preprint arXiv:2406.11929},
year = {2024}
}