通过改进蒸馏实现高效的评估时不确定性估计
机器学习
2019-06-14 v1 机器学习
摘要
本工作旨在利用深度网络获得计算高效的不确定性估计。为此，我们提出一种改进的知识蒸馏（knowledge distillation）过程，对分布内与分布外样本均达到最优（state-of-the-art）不确定性估计。我们的贡献包括：a) 展示并适配蒸馏的正则化效应；b) 提出一种新颖的目标教师分布；c) 一种提升分布外不确定性估计的简单增强过程；d) 通过一组全面实验阐明蒸馏过程。
引用
@article{arxiv.1906.05419,
title = {Efficient Evaluation-Time Uncertainty Estimation by Improved Distillation},
author = {Erik Englesson and Hossein Azizpour},
journal= {arXiv preprint arXiv:1906.05419},
year = {2019}
}
备注
Submitted at the ICML 2019 Workshop on Uncertainty & Robustness in Deep Learning(poster & spotlight talk)