面向随机梯度 MCMC 的探索学习
机器学习
2024-08-20 v1 人工智能
计算机视觉与模式识别
摘要
高维参数的贝叶斯神经网络 (BNN) 因后验分布的多模态性在后验推断方面存在挑战。具有周期性学习率调度的随机梯度 MCMC (SGMCMC) 是一种有前景的解决方案，但需要大量采样步骤来探索高维多模态后验，导致计算成本高昂。本文提出一种元学习策略来构建能够高效探索多模态目标分布的 SGMCMC。我们的算法使学习到的 SGMCMC 能够快速探索后验景观中的高密度区域。我们还展示了这种探索特性可被移植到各种任务，甚至是元训练期未见的任务。使用流行的图像分类基准和多种下游任务，我们证明了该方法显著提高了采样效率，实现了优于基础 SGMCMC 的更好性能，而不会带来显著的计算开销。
引用
@article{arxiv.2408.09140,
title = {Learning to Explore for Stochastic Gradient MCMC},
author = {SeungHyun Kim and Seohyeon Jung and Seonghyeon Kim and Juho Lee},
journal= {arXiv preprint arXiv:2408.09140},
year = {2024}
}