变分贝叶斯伪核心集
机器学习
2025-03-03 v1
摘要
深度学习的成功需要大型数据集和广泛的训练，这可能带来重大的计算挑战。为了应对这些挑战，人们提出了伪核心集，即模仿整个数据的小型可学习数据集。贝叶斯神经网络为深度神经网络提供了预测不确定性和概率解释，但由于其高维参数空间，在面临大规模数据集时也遇到问题。先前关于贝叶斯伪核心集（BPC）的工作试图通过少量伪核心集来减少计算权重后验分布的计算负担，但在 BPC 训练期间存在内存效率低下和结果次优的问题。为了克服这些局限性，我们提出了变分贝叶斯伪核心集（VBPC），这是一种利用变分推断来高效近似后验分布的新方法，在减少内存使用和计算成本的同时，提高了在基准数据集上的性能。
引用
@article{arxiv.2502.21143,
title = {Variational Bayesian Pseudo-Coreset},
author = {Hyungi Lee and Seungyoo Lee and Juho Lee},
journal= {arXiv preprint arXiv:2502.21143},
year = {2025}
}
备注
The Thirteenth International Conference on Learning Representations (ICLR2025)