深度学习不确定性工具包综述
机器学习
2022-05-03 v1
摘要
深度学习的成功促进了诸如tensorflow或pytorch等统一框架的创建，正如这些框架的创建反过来也推动了深度学习的成功一样。拥有通用构建模块便于模型或概念等的交流，并使开发更易复现。然而，对深度学习模型的稳健可靠评估与评定往往颇具挑战。这与其日益增长的安全相关性相悖，后者最近在“可信ML”领域中达到顶点。我们认为，除其他外，进一步以工具包（即小型且专门的框架衍生件）形式统一评估与保障方法，可能对可信性与可复现性问题产生积极影响。为此，我们呈现了首个关于深度学习中不确定性估计（UE）工具包的综述，因为UE构成了评估模型可靠性的基石。我们调研了11个工具包在建模与评估能力方面的表现，并对其中最有前景的三个——即Pyro、Tensorflow Probability与Uncertainty Quantification 360——进行了深入比较。前两者提供了高度的灵活性并与其各自框架无缝集成，而后者的方法学范畴更广。
引用
@article{arxiv.2205.01040,
title = {A Survey on Uncertainty Toolkits for Deep Learning},
author = {Maximilian Pintz and Joachim Sicking and Maximilian Poretschkin and Maram Akila},
journal= {arXiv preprint arXiv:2205.01040},
year = {2022}
}
备注
Accepted at the ICLR 2022 workshop "Setting up ML Evaluation Standards to Accelerate Progress"