精确的逐层可解释能力估计
机器学习
2019-10-28 v1 计算机视觉与模式识别
机器学习
摘要
估计机器学习模型在真实场景下的表现既重要又尚未解决。本文旨在检验、理解并预测分类模型的逐点能力。我们的贡献有两点：首先，建立了严格统计意义上的能力定义，推广了分类器置信度的常见概念；其次，提出了 ALICE（精确的逐层可解释能力估计，Accurate Layerwise Interpretable Competence Estimation）分数，一种适用于任意分类器的逐点能力估计器。通过考虑分布、数据与模型不确定性，ALICE 在类不平衡数据集、分布外数据集与训练不佳模型等常见失效情形下均表现出准确的能力估计。我们的贡献使得给定任意输入与误差函数，均可准确预测任意分类模型的能力。我们将该分数与模型置信度、Trust Score 等最先进置信度估计器比较，并在 DIGITS、CIFAR10 与 CIFAR100 等数据集上显示出对这些方法在能力预测上的显著改进。
引用
@article{arxiv.1910.11363,
title = {Accurate Layerwise Interpretable Competence Estimation},
author = {Vickram Rajendran and William LeVine},
journal= {arXiv preprint arXiv:1910.11363},
year = {2019}
}
备注
Proceedings of the 33rd Conference in Neural Information Processing Systems (2019), 15 pages