卓越的 DNN 分类器及其无数据质量识别方法
机器学习
2023-05-26 v1
摘要
当前的算法和架构能够从示例数据中创建出色的 DNN 分类器模型。一般而言，更大的训练数据集会带来更好的模型估计，从而提升测试性能。现有的泛化性能预测方法均基于留出测试样本。据我们所知，目前尚不存在无需测试数据即可估计已训练 DNN 分类器质量的方法。本文表明，无需任何示例数据即可评估已训练 DNN 分类器的质量。我们将 DNN 视为由特征提取器和特征分类器组成；特征提取器的输出被馈送至分类器。所提方法通过在网络输出处最小化交叉熵损失函数，在输入空间中为每个类别迭代创建类原型。我们利用这些原型及其特征关系来揭示分类器的质量。我们开发了两种度量：一种利用原型的特性，另一种利用对应于每个原型的对抗样本。实证评估表明，从测试样本获得的准确率与所提度量获得的质量度量成正比。我们报告了针对 ResNet18 在 Tiny ImageNet、CIFAR100 和 CIFAR10 数据集上的观察结果。所提度量可用于在无测试样本的情况下比较两个或多个分类器的性能。
引用
@article{arxiv.2305.15563,
title = {Fantastic DNN Classifiers and How to Identify them without Data},
author = {Nathaniel Dean and Dilip Sarkar},
journal= {arXiv preprint arXiv:2305.15563},
year = {2023}
}
备注
12 pages