作为矩匹配的 Stein 变分梯度下降
机器学习
2018-10-30 v1 机器学习
摘要
Stein 变分梯度下降（SVGD）是一种非参数推断算法，它演化一组粒子以拟合给定的目标分布。我们分析 SVGD 的非渐近性质，表明存在一组函数（我们称之为 Stein 匹配集），其期望可由任意满足 SVGD 不动点方程的粒子集精确估计。该集合是 SVGD 中所用正定核的特征映射经 Stein 算子作用后的像。我们的结果为分析具有不同核的 SVGD 性质提供理论框架，并揭示最优核选择的见解。特别地，我们表明带线性核的 SVGD 在高斯分布上能精确估计均值与方差，而随机傅里叶特征可实现分布近似的概率界。我们的结果将经典推断问题重新诠释为拟合 Stein 恒等式或求解 Stein 方程，这可能启发更高效的算法。
引用
@article{arxiv.1810.11693,
title = {Stein Variational Gradient Descent as Moment Matching},
author = {Qiang Liu and Dilin Wang},
journal= {arXiv preprint arXiv:1810.11693},
year = {2018}
}
备注
Conference on Neural Information Processing Systems (NIPS) 2018