站在巨人的肩膀上
机器学习
2024-09-09 v2 机器学习
摘要
尽管从混淆矩阵中提取的经典评估指标（如精确率和 F1）对机器学习的发展至关重要，但它们存在局限性。此类指标仅提供模型性能的定量视图，而未考虑数据的复杂性或命中质量。为了克服这些局限性，最近的研究引入了项目反应理论 (IRT) 等心理测量指标，允许在实例的潜在特征层面进行评估。本研究探讨了如何利用 IRT 概念来丰富混淆矩阵，以在性能相似的选项中识别出最合适的模型。在所进行的研究中，IRT 并不取代而是补充了经典指标，通过提供新的评估层来观察模型在特定实例中的精细行为。还观察到，有 97% 的置信度表明 IRT 的分数与所分析的 66% 的经典指标具有不同的贡献。
关键词
引用
@article{arxiv.2409.03151,
title = {Standing on the shoulders of giants},
author = {Lucas Felipe Ferraro Cardoso and José de Sousa Ribeiro Filho and Vitor Cirilo Araujo Santos and Regiane Silva Kawasaki Frances and Ronnie Cley de Oliveira Alves},
journal= {arXiv preprint arXiv:2409.03151},
year = {2024}
}
备注
15 pages, 8 figures, 3 tables, submitted for the BRACIS'24 conference