黑盒变分推断中的高效混合学习
机器学习
2024-06-12 v1 机器学习
摘要
混合变分分布已在黑盒变分推断（BBVI）中展现出在挑战性密度估计任务上的显著成果。然而，当前扩展混合成分数量会导致可学习参数线性增加，并因证据下界（ELBO）的评估而导致推理时间二次增长。我们的两项关键贡献解决了这些局限。首先，我们引入了新颖的多重重要性采样变分自编码器（MISVAE），它通过独热编码将输入到混合参数空间的映射进行摊销。幸运的是，使用MISVAE，每个额外的混合成分仅带来网络参数的可忽略增长。其次，我们为BBVI中的混合分布构建了两个新的ELBO估计器，从而在性能影响极小甚至有所改善的情况下大幅缩短推理时间。总体而言，我们的贡献使得扩展到数百个混合成分成为可能，并在更短时间内以更少的网络参数提供优于先前混合VAE的估计性能。使用MISVAE进行实验，我们在MNIST上取得了惊人的SOTA结果。此外，我们在其他BBVI设置中经验性地验证了我们的估计器，包括贝叶斯系统发育推断，我们在八个数据集上改进了SOTA混合模型的推理时间。
引用
@article{arxiv.2406.07083,
title = {Efficient Mixture Learning in Black-Box Variational Inference},
author = {Alexandra Hotti and Oskar Kviman and Ricky Molén and Víctor Elvira and Jens Lagergren},
journal= {arXiv preprint arXiv:2406.07083},
year = {2024}
}
备注
In Proceedings of the 41 st International Conference on Machine Learning (ICML), Vienna, Austria