基于前向 $\chi^2$ 散度的变分重要性采样
机器学习
2024-02-05 v2 统计计算
机器学习
摘要
最大化对数似然是学习潜变量模型的关键方面，而变分推断（VI）是常用的方法。然而，在处理复杂后验分布时，VI 可能在实现高对数似然方面遇到挑战。针对此局限，我们引入一种新颖的变分重要性采样（VIS）方法，直接估计并最大化对数似然。VIS 利用通过最小化前向 散度所获得的最优提议分布，来增强对数似然估计。我们将 VIS 应用于多种流行的潜变量模型，包括混合模型、变分自编码器与部分可观测广义线性模型。结果表明，无论在对数似然还是模型参数估计方面，我们的方法都持续优于 SOTA 基线。
引用
@article{arxiv.2311.02516,
title = {Forward $\chi^2$ Divergence Based Variational Importance Sampling},
author = {Chengrui Li and Yule Wang and Weihan Li and Anqi Wu},
journal= {arXiv preprint arXiv:2311.02516},
year = {2024}
}