carps：用于比较 N 个超参数优化器在 M 个基准任务上的框架
机器学习
2025-09-19 v2
摘要
超参数优化（HPO）是开发高性能机器学习模型的关键步骤。为了简化HPO方法的原型设计和基准测试，我们提出了carps，这是一个用于综合自动化研究绩效研究（Comprehensive Automated Research Performance Studies）的基准框架，允许在 M 个基准任务上评估 N 个优化器。本次首次发布的carps框架聚焦于四种最重要的HPO任务类型：黑盒、多保真、多目标和多保真-多目标。我们提供了3336个来自5个社区基准集合的任务，以及来自9个优化器家族的28种变体，构成迄今为止规模最大的评估和比较HPO方法的库。carps框架依赖于专为整合优化器和基准任务而构建的轻量级接口，并配备分析管道，便于在基准上评估优化器。然而，在开发和比较方法时，导航大量任务可能在计算上不可行。为此，我们通过最小化子集在由完整集合张成的空间中的星际偏差，获取代表性子集的结果。因此，我们提出了每个任务类型初始10至30个多样化任务的子集，并包含重新计算子集的功能，以便在更多基准可用时进行更新，实现高效评估。我们还在这些任务上建立了第一套基线结果，以便未来比较。通过carps（https://www.github.com/automl/CARP-S），我们在HPO评估标准化方面迈出了重要一步。
引用
@article{arxiv.2506.06143,
title = {carps: A Framework for Comparing N Hyperparameter Optimizers on M Benchmarks},
author = {Carolin Benjamins and Helena Graf and Sarah Segel and Difan Deng and Tim Ruhkopf and Leona Hennig and Soham Basu and Neeratyoy Mallik and Edward Bergman and Deyao Chen and François Clément and Alexander Tornede and Matthias Feurer and Katharina Eggensperger and Frank Hutter and Carola Doerr and Marius Lindauer},
journal= {arXiv preprint arXiv:2506.06143},
year = {2025}
}