提升黑盒变分推断
机器学习
2018-11-30 v5 机器学习
摘要
以易于处理的方式近似概率密度是贝叶斯统计中的一个核心任务。变分推断（VI）是一种流行的技术，它通过选择一个相对简单的变分族来实现可处理性。借鉴经典提升框架的思想，近期的方法试图通过将单一密度的选择替换为贪婪构造的密度混合来提升 VI。为了保证收敛性，先前的工作施加了严格的假设，这给从业者带来了巨大的工作量。具体而言，它们要求针对每个概率模型，在截断分布这一非自然的变分族下，定制实现贪婪步骤（称为 LMO）。我们的工作通过新颖的理论和算法见解解决了这些问题。在理论方面，我们证明了提升 VI 满足一种松弛的平滑性假设，该假设足以保证泛函 Frank-Wolfe（FW）算法的收敛性。此外，我们重新表述了 LMO 问题，并提出最大化残差 ELBO（RELBO），以替代 VI 中的标准 ELBO 优化。这些理论增强使得提升子程序的黑盒实现成为可能。最后，我们提出了一个源自经典 FW 分析中对偶间隙的停止准则，并进行了详尽的实验，以说明我们理论和算法贡献的有效性。
引用
@article{arxiv.1806.02185,
title = {Boosting Black Box Variational Inference},
author = {Francesco Locatello and Gideon Dresdner and Rajiv Khanna and Isabel Valera and Gunnar Rätsch},
journal= {arXiv preprint arXiv:1806.02185},
year = {2018}
}