时间限制更短且支持早停的AutoML基准
机器学习
2025-04-16 v3
摘要
自动机器学习（AutoML）可自动在数据上构建机器学习（ML）模型。评估表格数据上的新型AutoML框架的事实标准是AutoML基准（AMLB）。AMLB提出使用1小时和4小时的时间预算跨越104个任务进行评估。我们认为，由于实际应用中的需求（例如需要高频重新训练模型），应考虑更短的时间限制，从而使AMLB更具可访问性。本工作通过两种方式缩减基准总计算量：缩小时间限制和使用早停。我们在不同时间限制下，对11个AutoML框架在104个任务上进行评估，发现AutoML框架的相对排名在不同时间限制下相当一致，但使用早停会导致模型性能呈现更大的差异。
引用
@article{arxiv.2504.01222,
title = {AutoML Benchmark with shorter time constraints and early stopping},
author = {Israel Campero Jurado and Pieter Gijsbers and Joaquin Vanschoren},
journal= {arXiv preprint arXiv:2504.01222},
year = {2025}
}
备注
Workshop on the Future of Machine Learning Data Practices and Repositories, ICLR 2025