变分紧性的上坡之路:单调性与蒙特卡洛目标
机器学习
2022-01-27 v1 人工智能
机器学习
统计计算
统计方法学
摘要
我们重新审视重要性加权变分推断(IWVI)的理论,这是一种用于学习潜变量模型的有前景的策略。IWVI 使用新的变分界,称为蒙特卡洛目标(MCOs),通过用蒙特卡洛估计替换难处理的积分获得——通常简单地通过重要性采样得到。Burda、Grosse 和 Salakhutdinov(2016)表明,增加重要性样本的数量可证明地收紧边界与似然之间的差距。受这一简单单调性定理的启发,我们提出一系列非渐近结果,将蒙特卡洛估计的性质与 MCOs 的紧性联系起来。我们质疑“较小的蒙特卡洛方差导致更好的边界”这一理由。我们通过精确表明在某种意义下负相关减小变分差距,从理论上证实了最近几篇论文的经验发现。我们还通过考虑非均匀权重推广了原始的单调性定理。我们讨论了理论结果的若干实际后果。我们的工作借鉴了随机序理论中的许多思想和结果。
引用
@article{arxiv.2201.10989,
title = {Uphill Roads to Variational Tightness: Monotonicity and Monte Carlo Objectives},
author = {Pierre-Alexandre Mattei and Jes Frellsen},
journal= {arXiv preprint arXiv:2201.10989},
year = {2022}
}