贝叶斯神经网络后验的对抗式蒸馏
机器学习
2018-06-28 v1 机器学习
摘要
贝叶斯神经网络（BNNs）使我们能够以原则性方式推断不确定性。随机梯度朗之万动力学（SGLD）通过使用小批量从 BNN 后验中抽取样本，实现了高效的 BNN 学习。然而，SGLD 及其扩展需要存储许多份模型参数副本，这可能带来极高代价，尤其对大型神经网络而言。我们提出一种框架——对抗式后验蒸馏（Adversarial Posterior Distillation），利用生成对抗网络（GAN）蒸馏 SGLD 样本。在测试时，样本由 GAN 生成。我们表明该蒸馏框架在近期 BNN 应用（包括异常检测、主动学习以及抵御对抗攻击）上性能无损失。由构造方式，我们的框架不仅蒸馏了贝叶斯预测分布，还蒸馏了后验本身。这使得人们能够计算如近似模型方差等量，在下游任务中有用。据我们所知，这些是首先将基于 MCMC 的 BNN 应用于上述下游任务的结果。
引用
@article{arxiv.1806.10317,
title = {Adversarial Distillation of Bayesian Neural Network Posteriors},
author = {Kuan-Chieh Wang and Paul Vicol and James Lucas and Li Gu and Roger Grosse and Richard Zemel},
journal= {arXiv preprint arXiv:1806.10317},
year = {2018}
}
备注
accepted at ICML 2018