用无限随机混合在采样与变分推断之间插值
机器学习
2022-03-07 v2 机器学习
统计理论
统计计算
统计理论
摘要
采样与变分推断（VI）是用于近似推断的两大类方法，具有互补的优势。采样方法擅长近似任意概率分布，但可能效率低下。VI 方法高效，但可能歪曲真实分布。在此，我们开发了一个通用框架，其中近似是简单组件分布的随机混合。采样和 VI 均可视为特例：在采样中，每个混合组件是一个 delta 函数并被随机选取，而在标准 VI 中，选取单个组件以最小化散度。我们推导了一种实用方法，通过求解关于混合分布的优化问题在采样和 VI 之间插值。然后通过改变单个参数产生中间的推断方法。我们的方法可证明地改进了采样（降低方差）和 VI（降低偏差+方差，尽管增加了方差）。我们在参考问题上实际展示了我们方法的偏差/方差权衡，并将结果与常用的采样和 VI 方法进行比较。这项工作朝着高度灵活而简单的推断方法家族迈出了一步，该家族结合了采样和 VI 的互补优势。
引用
@article{arxiv.2110.09618,
title = {Interpolating between sampling and variational inference with infinite stochastic mixtures},
author = {Richard D. Lange and Ari Benjamin and Ralf M. Haefner and Xaq Pitkow},
journal= {arXiv preprint arXiv:2110.09618},
year = {2022}
}
备注
9 pages, 4 figures. Submitted to UAI 2022; under double-blind review. Code available at https://github.com/wrongu/sampling-variational-demos