利用机会式元知识缩减自动化机器学习的配置空间
机器学习
2022-08-10 v1
摘要
自动化机器学习（AutoML）过程不仅需要搜索机器学习（ML）组件及其超参数的复杂配置空间，还需搜索将它们组合在一起的方式，即构建 ML 流水线。若该流水线配置空间过大，在固定时间预算下，优化效率与可获得的模型精度都会受损。一个关键的研究问题是：是否可能且切实地通过利用各类 ML 任务上的历史性能（即元知识）来预先避免对表现不佳的 ML 流水线进行代价高昂的评估。既往经验来自以下形式分类器/回归器的精度排序：（1）历史 AutoML 运行中进行的海量但非穷举的流水线评估，即“机会式”元知识；或（2）对具有默认超参数的分类器/回归器进行的全面交叉验证评估，即“系统性”元知识。使用 AutoWeka4MCPS 包的多次实验表明：（1）机会式/系统性元知识可改善 ML 结果，通常与其相关性一致；（2）当配置空间裁剪既不太保守也不太激进时达到最优。然而，元知识的效用与影响关键取决于其生成与利用的诸多方面，值得深入分析；这些在 AutoML 与元学习文献中常被忽视或低估。特别地，我们观察到对数据集“挑战性”（即选择特定预测器是否能显著改善性能）的高度敏感性。最终，识别如此定义的“困难”数据集，对于生成信息丰富的元知识库和理解最优搜索空间缩减策略都至关重要。
引用
@article{arxiv.2208.04376,
title = {On Taking Advantage of Opportunistic Meta-knowledge to Reduce Configuration Spaces for Automated Machine Learning},
author = {David Jacob Kedziora and Tien-Dung Nguyen and Katarzyna Musial and Bogdan Gabrys},
journal= {arXiv preprint arXiv:2208.04376},
year = {2022}
}
备注
71 pages