面向无数据评估的新型深度神经网络分类器特征度量
机器学习
2024-07-19 v1 人工智能
神经与进化计算
摘要
主流 AI 社区见证了大规模开源分类器的兴起，这些分类器通常在庞大数据集上预训练，并在标准基准测试上测试；然而，面对多样化需求且测试数据有限且昂贵的用户常常被各种可选方案所淹没。深度神经网络 (DNN) 分类器经历训练、验证和测试三个阶段，测试阶段侧重于确定测试示例的分类准确率，而不深入探讨分类器的内部工作机制。本文在无示例数据集的情况下评估 DNN 分类器的训练质量。我们假设 DNN 是一个特征提取器与分类器（即倒数第二全连接层）的组合。通过评估其权重向量来估计分类器的质量。通过对合成数据输入时产生的特征向量来表征特征提取器，这些合成输入向量是通过反向传播分类器期望输出生成的。我们对所提出方法的实证研究涵盖 ResNet18，使用 CAFIR10 和 CAFIR100 数据集进行训练，确认了无数据评估 DNN 分类器确实是可行的。
引用
@article{arxiv.2407.13000,
title = {Novel Deep Neural Network Classifier Characterization Metrics with Applications to Dataless Evaluation},
author = {Nathaniel Dean and Dilip Sarkar},
journal= {arXiv preprint arXiv:2407.13000},
year = {2024}
}