用于机器学习分类器综合评估的生成式可复现基准
机器学习
2021-07-15 v1 人工智能
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
理解机器学习(ML)算法的优势与劣势对于确定其应用范围至关重要。在此,我们引入 DIverse and GENerative ML Benchmark(DIGEN)——一个由合成数据集组成的集合,用于对二分类结果预测的机器学习算法进行可复现、可解释的综合基准测试。DIGEN 资源包含 40 个数学函数,这些函数将连续特征映射到离散端点以创建合成数据集。这 40 个函数是通过一种启发式算法发现的,该算法旨在最大化多种流行机器学习算法之间性能的差异性,从而提供一个用于评估和比较新方法的实用测试套件。对生成函数的访问有助于理解某方法为何表现劣于其他算法,进而为改进提供思路。该资源带有详尽的文档与分析,是开源的,可在 GitHub 上获取。
引用
@article{arxiv.2107.06475,
title = {Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers},
author = {Patryk Orzechowski and Jason H. Moore},
journal= {arXiv preprint arXiv:2107.06475},
year = {2021}
}
备注
12 pages, 3 figures with subfigures