自分布蒸馏：高效不确定性估计
机器学习
2022-03-17 v1 人工智能
机器学习
摘要
深度学习正日益应用于安全关键领域。对于这些场景，了解模型预测的不确定性水平以确保系统做出适当决策十分重要。深度集成是获取各类不确定性度量的事实标准方法。然而，集成通常显著增加训练和/或部署阶段所需的资源。已有方法通常只解决其中一个阶段的成本。在本工作中，我们提出一种新颖的训练方法——自分布蒸馏（S2D），它能够高效训练单个可估计不确定性的模型。此外，可以构建这些模型的集成并应用分层集成蒸馏方法。在 CIFAR-100 上的实验表明，S2D 模型优于标准模型和蒙特卡洛 dropout。在 LSUN、Tiny ImageNet、SVHN 上额外的分布外检测实验表明，即使是标准深度集成，也可被基于 S2D 的集成和新颖蒸馏模型超越。
引用
@article{arxiv.2203.08295,
title = {Self-Distribution Distillation: Efficient Uncertainty Estimation},
author = {Yassir Fathullah and Mark J. F. Gales},
journal= {arXiv preprint arXiv:2203.08295},
year = {2022}
}
备注
17 pages, 3 figures, 17 tables, submitted to UAI 2022