MCMC 交互式变分推断
机器学习
2022-12-14 v2 机器学习
摘要
利用成熟的 MCMC 策略，我们提出 MCMC 交互式变分推断（MIVI），不仅以受时间约束的方式估计后验，还促进 MCMC 转移的設计。MIVI 构建变分分布，随后接一条带有可学习参数的短马尔可夫链，利用变分推断与 MCMC 的互补特性以促成相互改进。一方面，在变分分布定位高后验密度区域后，该马尔可夫链在变分推断框架内被优化，从而以少量转移高效瞄准后验。另一方面，具有相当灵活性的优化马尔可夫链引导变分分布逼近后验，并缓解其对不确定性的低估。此外，我们证明 MIVI 中的优化马尔可夫链允许外推，即其边缘分布随链增长而更接近真实后验。因此，该马尔可夫链可单独用作高效的 MCMC 方案。实验表明，MIVI 不仅准确高效地逼近后验，还促进了随机梯度 MCMC 与吉布斯采样转移的設计。
引用
@article{arxiv.2010.02029,
title = {MCMC-Interactive Variational Inference},
author = {Quan Zhang and Huangjie Zheng and Mingyuan Zhou},
journal= {arXiv preprint arXiv:2010.02029},
year = {2022}
}
备注
25 pages, 7 figures, 3 tables