Pathfinder：并行拟牛顿变分推断
机器学习
2022-05-17 v4 机器学习
摘要
我们提出 Pathfinder，一种用于从可微对数密度中近似采样的变分方法。从随机初始化出发，Pathfinder 沿拟牛顿优化路径定位目标密度的正态近似，利用优化器产生的逆 Hessian 估计来估计局部协方差。Pathfinder 返回与真实后验的估计 Kullback-Leibler（KL）散度最小之近似分布的抽样。我们在广泛的后验分布上评估 Pathfinder，表明其近似抽样优于自动微分变分推断（ADVI），并与动态 Hamiltonian Monte Carlo（HMC）短链相当，以 1-Wasserstein 距离衡量。与 ADVI 和动态 HMC 短运行相比，Pathfinder 所需的对数密度与梯度评估少一至两个数量级，对更具挑战性的后验减少更多。对 Pathfinder 多次运行进行重要性重采样可改善近似抽样的多样性，进一步降低 1-Wasserstein 距离，并对高原、鞍点或次要模式上优化失败的鲁棒性提供度量。核心 Pathfinder 算法中的 Monte Carlo KL 散度估计可易并行化，重采样版本中的多次运行亦然，在多核下进一步增进 Pathfinder 的速度优势。
引用
@article{arxiv.2108.03782,
title = {Pathfinder: Parallel quasi-Newton variational inference},
author = {Lu Zhang and Bob Carpenter and Andrew Gelman and Aki Vehtari},
journal= {arXiv preprint arXiv:2108.03782},
year = {2022}
}
备注
46 pages, 21 figures