AutoWeka4MCPS-AVATAR：加速自动化机器学习流水线组合与优化
机器学习
2020-11-25 v1 统计计算
摘要
自动化机器学习流水线（ML）组合与优化旨在分配资源（即时间、CPU 与内存）内自动寻找最有前景的 ML 流水线。现有方法如基于贝叶斯与基于遗传的优化，实现于 Auto-Weka、Auto-sklearn 与 TPOT 中，通过执行流水线来评估之。因此，这些方法的流水线组合与优化常需海量时间，阻碍其探索复杂流水线以发现更优预测模型。为深入探究此研究挑战，我们开展了实验，表明许多生成的流水线本身无效，尝试执行它们纯属浪费时间与资源。为解决该问题，我们提出一种无需执行即可用替代模型（AVATAR）评估 ML 流水线有效性的新方法。AVATAR 通过自动学习 ML 算法在数据集特征上的能力与效果来生成知识库。该知识库用于将原始 ML 流水线简化为基于 Petri 网的替代模型映射。AVATAR 不执行原始 ML 流水线评估其有效性，而是依据 ML 流水线组件的能力与效果及输入/输出简化映射所构建的替代模型进行评估。评估此替代模型比执行原始流水线资源消耗更低。因此，AVATAR 使流水线组合与优化方法能通过快速拒绝无效流水线评估更多流水线。我们将 AVATAR 集成至序贯基于模型的算法配置（SMAC）中。实验表明，当 SMAC 采用 AVATAR 时，比其单独使用找到更优解。
引用
@article{arxiv.2011.11846,
title = {AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation},
author = {Tien-Dung Nguyen and Bogdan Gabrys and Katarzyna Musial},
journal= {arXiv preprint arXiv:2011.11846},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:2001.11158