基于元学习的机器学习管道动态设计
机器学习
2025-08-20 v1 人工智能
神经与进化计算
摘要
自动机器学习（AutoML）通过自动化模型选择、超参数调优和特征工程， democrat化 了基于机器学习的系统设计。然而，传统搜索和优化策略（如随机搜索、粒子群优化和贝叶斯优化）导致的高计算成本仍是重大挑战。此外，AutoML 系统通常会探索大范围的搜索空间，从而导致过拟合。本文引入了一种元学习方法，用于动态设计 AutoML 系统的搜索空间。该方法利用历史元知识选择搜索空间中有前景的区域，从而加速优化过程。根据实验，所提出的方法可在随机搜索中将运行时间缩短 89%，在搜索空间中分别减少 (1.8/13) 的预处理器和 (4.3/16) 的分类器，同时不损失显著的预测性能。此外，本方法在适应 Auto-Sklearn 方面表现出竞争性能，显著减少其搜索空间。进一步地，本研究涵盖了关于元特征选择、元模型可解释性以及搜索空间缩减策略中固有权衡的见解。
引用
@article{arxiv.2508.13436,
title = {Dynamic Design of Machine Learning Pipelines via Metalearning},
author = {Edesio Alcobaça and André C. P. L. F. de Carvalho},
journal= {arXiv preprint arXiv:2508.13436},
year = {2025}
}