机器学习算法的多维能力诊断
机器学习
2023-07-17 v1 人工智能
摘要
机器学习算法已在诸多应用(如图像分类)中无处不在。然而,由于传统度量(如各分类器的粗粒度准确率Accuracy)测量不足,这些算法的真实世界表现与其在标准化评测中的得分之间通常存在显著差距。本文受人类测量中心理测量理论启发,提出一种任务无关评测框架Camilla,其中定义了多维诊断度量Ability,用于协同测量各机器学习算法的多方面能力。具体而言,给定不同算法对数据样本的反应日志,我们利用认知诊断假设与神经网络学习算法、样本及每样本技能(显式或隐式预定义)之间的复杂交互。由此,各算法在多技能上的能力以及一些样本因素(如样本难度)可同时被量化。我们在四个公开数据集上用数百种机器学习算法进行了充分实验,实验结果表明Camilla不仅能更精确地捕捉各算法的优劣,且在度量可靠性、排序一致性与排序稳定性上优于SOTA基线。
引用
@article{arxiv.2307.07134,
title = {Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms},
author = {Qi Liu and Zheng Gong and Zhenya Huang and Chuanren Liu and Hengshu Zhu and Zhi Li and Enhong Chen and Hui Xiong},
journal= {arXiv preprint arXiv:2307.07134},
year = {2023}
}