AMLB：一个自动机器学习基准
机器学习
2023-11-17 v2 机器学习
摘要
比较不同的 AutoML 框架是出了名的困难，且常常做得不正确。我们引入了一个开放且可扩展的基准，它遵循最佳实践并避免在比较 AutoML 框架时的常见错误。我们对 9 个知名 AutoML 框架在 71 个分类任务和 33 个回归任务上进行了彻底比较。通过多方面分析探究了这些 AutoML 框架之间的差异，评估了模型精度、其与推理时间的权衡，以及框架失败情况。我们还使用 Bradley-Terry 树来发现相对 AutoML 框架排名不同的任务子集。该基准附带一个开源工具，可与许多 AutoML 框架集成并端到端自动化经验评估过程：从框架安装和资源分配到深入评估。该基准使用公开数据集，可轻松扩展其他 AutoML 框架和任务，并拥有一个包含最新结果的网站。
引用
@article{arxiv.2207.12560,
title = {AMLB: an AutoML Benchmark},
author = {Pieter Gijsbers and Marcos L. P. Bueno and Stefan Coors and Erin LeDell and Sébastien Poirier and Janek Thomas and Bernd Bischl and Joaquin Vanschoren},
journal= {arXiv preprint arXiv:2207.12560},
year = {2023}
}
备注
UNDER REVIEW: Revised submission to JMLR, with updated results from June 2023