VISA：基于顺序样本平均近似的变分推断
机器学习
2024-03-18 v2 机器学习
摘要
我们提出基于顺序样本平均近似（VISA）的变分推断方法，用于计算密集型模型的近似推断，此类模型通常基于数值模拟。VISA 扩展了 importance-weighted forward-KL 变分推断，通过采用一系列样本平均近似，这些近似被视为有效的 trust region 内。这使得在多个梯度步骤之间重用模型评估成为可能，从而降低计算成本。我们在高维高斯分布、Lotka-Volterra 动力学以及 Pickover 曲面吸引子上进行实验，这些实验表明 VISA 能在保守选取的学习率下，以计算节省两倍或更多的因数，实现与标准 importance-weighted forward-KL 变分推断相当的近似精度。
引用
@article{arxiv.2403.09429,
title = {VISA: Variational Inference with Sequential Sample-Average Approximations},
author = {Heiko Zimmermann and Christian A. Naesseth and Jan-Willem van de Meent},
journal= {arXiv preprint arXiv:2403.09429},
year = {2024}
}