基于对比散度的贝叶斯伪核集
机器学习
2024-05-10 v2 人工智能
摘要
贝叶斯方法为估计参数后验和量化与概率模型相关的不确定性提供了优雅的框架。然而，它们常受限于缓慢的推断时间。为应对这一挑战，贝叶斯伪核集（BPC）已成为一种有前景的解决方案。BPC 方法旨在创建一个称为伪核集的小型合成数据集，以近似使用原始数据集所实现的后验推断。该近似通过优化真实后验与伪核集后验之间的散度度量来实现。已提出多种用于构建伪核集的散度度量，其中前向 Kullback-Leibler（KL）散度最为成功。然而，使用前向 KL 散度需要从伪核集后验中采样，通常借助近似高斯变分分布完成。或者，可采用马尔可夫链蒙特卡洛（MCMC）方法采样，但在高维参数空间中由于混合缓慢而变得困难。在本研究中，我们引入一种利用对比散度构建伪核集的新方法。重要的是，优化对比散度消除了伪核集构建过程中对近似的需求。此外，它支持使用有限步 MCMC 方法，缓解了达到平稳分布所需大量混合的要求。为验证方法有效性，我们在多个数据集上进行了大量实验，展示了其相对于现有 BPC 技术的优越性。
引用
@article{arxiv.2303.11278,
title = {Bayesian Pseudo-Coresets via Contrastive Divergence},
author = {Piyush Tiwary and Kumar Shubham and Vivek V. Kashyap and Prathosh A. P},
journal= {arXiv preprint arXiv:2303.11278},
year = {2024}
}
备注
Accepted at UAI 2024