对神经网络后验进行吉布斯采样
机器学习
2024-07-22 v2 机器学习
摘要
在本文中，我们研究从由神经网络导出的后验中进行采样。我们提出了一种新的概率模型，通过在网络中每个激活前和激活后添加噪声，论证由此得到的后验可以使用高效的吉布斯采样器进行采样。对于小模型，吉布斯采样器在真实和合成数据上均达到了与最先进的马尔可夫链蒙特卡洛（MCMC）方法（如哈密顿蒙特卡洛（HMC）或Metropolis调整的朗之万算法（MALA））相似的性能。通过将我们的分析置于师生设定中，我们引入了一个热化准则，使我们能够检测当算法在带有合成标签的数据上运行时，何时未能从后验中采样。该准则基于这样一个事实：在师生设定中，我们可以直接在平衡态初始化算法。
引用
@article{arxiv.2306.02729,
title = {Gibbs Sampling the Posterior of Neural Networks},
author = {Giovanni Piccioli and Emanuele Troiani and Lenka Zdeborová},
journal= {arXiv preprint arXiv:2306.02729},
year = {2024}
}