简单正则化用于不确定性感知的知识蒸馏
机器学习
2022-05-20 v1 人工智能
摘要
考虑现代神经网络（NNs）的不确定性估计，是将机器学习系统部署到医学、金融或自主系统等有意义的实际应用中的最关键步骤之一。目前，不同 NNs 的集成在不同任务上的准确率和不确定性估计方面均构成最先进水平。然而，NNs 集成在实际约束下并不实用，因为其计算和内存消耗随集成规模线性增长，增加了延迟和部署成本。本工作中，我们考察了一种简单的正则化方法，用于机器学习模型集成到单一 NN 的无分布知识蒸馏。该正则化的目的是在无需任何诸如微调的复杂操作下，保留原始集成的多样性、准确性和不确定性估计特性。我们在玩具数据、SVHN/CIFAR-10 的组合、从简单到复杂的 NN 架构以及不同任务上展示了该方法的通用性。
引用
@article{arxiv.2205.09526,
title = {Simple Regularisation for Uncertainty-Aware Knowledge Distillation},
author = {Martin Ferianc and Miguel Rodrigues},
journal= {arXiv preprint arXiv:2205.09526},
year = {2022}
}
备注
Accepted to the ICML 2022 Workshop on Distribution-Free Uncertainty Quantification. The code can be found at: https://github.com/martinferianc/hydra_plus