关于贝叶斯伪核心集的散度度量
机器学习
2022-10-13 v1
摘要
贝叶斯伪核心集是一个小型合成数据集，其关于参数的后验近似于原始数据集的后验。尽管前景广阔，贝叶斯伪核心集的可扩展性尚未在诸如深度神经网络图像分类等实际问题中得到验证。另一方面，数据集蒸馏方法同样构建一个小型数据集，使得使用该合成数据集的优化收敛到一个与使用完整数据优化相比具有竞争力性能的解。尽管数据集蒸馏已在大规模设置中得到经验验证，该框架仅限于点估计，且其向贝叶斯推断的适配尚未被探索。本文将两个代表性的数据集蒸馏算法视为通过最小化特定散度度量（反向 KL 散度和 Wasserstein 距离）来构建伪核心集的方法的近似。此外，我们提供了贝叶斯伪核心集构建中此类散度度量的统一视角。最后，我们提出了一种基于最小化前向 KL 散度的新型贝叶斯伪核心集算法。我们的经验结果表明，即使在高维贝叶斯推断问题中，由这些方法构建的伪核心集也能反映真实后验。
引用
@article{arxiv.2210.06205,
title = {On Divergence Measures for Bayesian Pseudocoresets},
author = {Balhae Kim and Jungwon Choi and Seanie Lee and Yoonho Lee and Jung-Woo Ha and Juho Lee},
journal= {arXiv preprint arXiv:2210.06205},
year = {2022}
}