深度神经网络的广义贝叶斯后验期望蒸馏
机器学习
2020-05-19 v1 机器学习
摘要
在本文中，我们提出了一个用于蒸馏深度神经网络分类器贝叶斯后验分布下期望的通用框架，扩展了先前关于贝叶斯暗知识(Bayesian Dark Knowledge)框架的工作。所提出的框架以“教师”与学生模型架构以及感兴趣的通用后验期望作为输入。该蒸馏方法利用迭代生成的蒙特卡洛样本对所选后验期望进行在线压缩。我们聚焦于后验预测分布与期望熵作为蒸馏目标。我们研究了该框架的若干方面，包括不确定性的影响以及学生模型架构的选择。我们从速度-存储-精度视角研究学生模型架构搜索方法，并评估利用熵蒸馏的下游任务，包括不确定性排序与分布外检测。
引用
@article{arxiv.2005.08110,
title = {Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks},
author = {Meet P. Vadera and Brian Jalaian and Benjamin M. Marlin},
journal= {arXiv preprint arXiv:2005.08110},
year = {2020}
}
备注
Accepted at UAI '20