Prayatul 矩阵：一种评估监督机器学习模型性能的直比较方法
机器学习
2022-09-27 v1 人工智能
计算机视觉与模式识别
神经与进化计算
性能
摘要
监督机器学习（ML）模型的性能比较广泛基于测试集上获得的不同混淆矩阵分数进行。然而，一个数据集包含若干具有不同难度的实例。因此，比较 ML 模型在单个实例上的有效性，比比较整个数据集上获得的分数更为合理。本文提出一种替代方法，用于就数据集中单个实例直接比较监督 ML 模型。引入一种称为 \emph{Prayatul 矩阵}的直接比较矩阵，其记录两个 ML 算法在数据集不同实例上的比较结果。基于 prayatul 矩阵设计了五种不同性能度量。所提方法以及所设计度量的效能通过三个数据集上的四种分类技术进行分析。还在四个大规模复杂图像数据集上以四种深度学习模型即 ResNet50V2、MobileNetV2、EfficientNet 和 XceptionNet 进行分析。结果明显表明，新设计的度量能够给出关于被比较 ML 算法的更多洞察，而以准确率、精确率和召回率等现有基于混淆矩阵的分数无法做到。
引用
@article{arxiv.2209.12728,
title = {Prayatul Matrix: A Direct Comparison Approach to Evaluate Performance of Supervised Machine Learning Models},
author = {Anupam Biswas},
journal= {arXiv preprint arXiv:2209.12728},
year = {2022}
}
备注
Submitted to IEEE Journal