用于优化复杂 AutoML 流水线的基于情境决策
机器学习
2026-04-09 v2 人工智能
摘要
组合算法选择和超参数优化（CASH）是传统 AutoML 系统的基本方法。然而，随着预训练模型的发展，现代 ML 工作流程已超越超参数优化，常常需要微调、集成和其他适应技术。虽然识别下游任务最佳模型的核心挑战仍然存在，但日益增多的 ML 流水线异质性对新型 AutoML 方法提出了挑战。本工作扩展了 CASH 框架，以选择和适应现代 ML 流水线。我们提出了 PS-PFN，通过扩展后验抽样（PS）至 max k 臂赝博弈问题设置，来高效探索和利用适应 ML 流水线。PS-PFN 利用先验数据拟合网络（PFNs）通过情境学习高效估计最大值的后验分布。我们展示了如何扩展该方法以考虑不同拉臂的成本，并使用不同的 PFNs 为每个臂单独建模奖励分布。在一个新颖的基准任务和两个现有标准基准任务上的实验结果表明，PS-PFN 在其他赝博弈和 AutoML 策略方面表现优异。我们在 https://github.com/amirbalef/CASHPlus 上提供代码和数据。
引用
@article{arxiv.2508.13657,
title = {In-Context Decision Making for Optimizing Complex AutoML Pipelines},
author = {Amir Rezaei Balef and Katharina Eggensperger},
journal= {arXiv preprint arXiv:2508.13657},
year = {2026}
}
备注
Accepted at the European Conference on Artificial Intelligence (ECAI) 2025