Assembled-OpenML：利用OpenML为AutoML中的集成方法创建高效基准
机器学习
2023-07-04 v1
摘要
自动化机器学习(AutoML)框架常规使用集成方法。开发者需要比较不同集成技术，以从众多潜在技术中为AutoML框架选取合适技术。迄今为止，集成技术的比较通常计算代价高昂，因为必须训练并评估多次基础模型。因此，我们提出Assembled-OpenML。Assembled-OpenML是一个Python工具，利用OpenML为集成方法构建元数据集。称为Metatask的元数据集由OpenML任务的数据、任务的数据集以及该任务模型评估的预测数据组成。通过使用元任务中存储的预测而非训练评估基础模型，我们可以使集成技术的比较计算更廉价。为介绍Assembled-OpenML，我们描述了工具的首个版本。此外，我们给出了使用Assembled-OpenML比较一组集成技术的示例。在此示例比较中，我们使用Assembled-OpenML构建了一个基准，并实现了以预测而非基础模型作为输入的集成技术。在我们的示例比较中，我们为个数据集收集了个基础模型的预测数据。使用Assembled-OpenML获取所有基础模型的预测数据总共耗时小时。相比之下，仅在计算最昂贵的数据集上训练评估一个基础模型获取预测数据就耗时分钟。
引用
@article{arxiv.2307.00285,
title = {Assembled-OpenML: Creating Efficient Benchmarks for Ensembles in AutoML with OpenML},
author = {Lennart Purucker and Joeran Beel},
journal= {arXiv preprint arXiv:2307.00285},
year = {2023}
}
备注
5 pages main paper, 13 pages references and appendix, 2 figures, 1 table, poster presented at: International Conference on Automated Machine Learning 2022, Workshop Track