使用上下文无关文法将超参数搜索集成到无模型 AutoML 中
机器学习
2024-04-16 v2 人工智能
摘要
近年来，自动机器学习（AutoML）因其能够减少设计和开发机器学习系统所需的时间和专业知识而变得越来越受欢迎。这对于机器学习的实践非常重要，因为它允许快速构建强大的基线，提高数据科学家的效率，并缩短投入生产的时间。然而，尽管 AutoML 具有优势，但它面临几个挑战，例如定义解空间并对其进行有效探索。最近，一些方法已被证明能够使用基于树的搜索算法和上下文无关文法来实现这一点。特别是，GramML 提出了一种无模型强化学习方法，该方法利用流水线配置文法并使用蒙特卡洛树搜索进行操作。然而，GramML 的局限性之一是它使用默认超参数，将搜索问题局限于为可用的数据预处理器和模型寻找最优流水线结构。在这项工作中，我们提出了对 GramML 的扩展，该扩展支持包括超参数搜索在内的更大搜索空间。我们使用 OpenML 基准评估了该方法，发现与其他最先进的技术相比有显著改进。
引用
@article{arxiv.2404.03419,
title = {Integrating Hyperparameter Search into Model-Free AutoML with Context-Free Grammars},
author = {Hernán Ceferino Vázquez and Jorge Sanchez and Rafael Carrascosa},
journal= {arXiv preprint arXiv:2404.03419},
year = {2024}
}