一种基于 ADMM 的 AutoML 流水线配置框架
机器学习
2019-12-10 v5 机器学习
摘要
我们研究 AutoML 问题，即通过在监督学习流水线的所有步骤中联合选择算法及其适当超参数来自动配置机器学习流水线。这种含混合整数与连续变量的黑盒（无梯度）优化是一个具有挑战性的问题。我们通过利用交替方向乘子法（ADMM）提出一种新颖的 AutoML 方案。所提框架能够（i）将优化问题分解为具有更少变量且规避混合变量类别挑战的较易子问题，以及（ii）在黑盒优化目标之外纳入黑盒约束。我们在来自 UCI ML 与 OpenML 仓库的一组二分类数据集上，对我们所提方案的灵活性（利用现有 AutoML 技术）、有效性（对比开源 AutoML 工具包）以及独特能力（执行带有实际动机的黑盒约束的 AutoML）进行了实证评估。我们观察到，平均而言我们的框架相较其他 AutoML 框架（Auto-sklearn 与 TPOT）提供了显著增益，凸显了该框架的实用优势。
引用
@article{arxiv.1905.00424,
title = {An ADMM Based Framework for AutoML Pipeline Configuration},
author = {Sijia Liu and Parikshit Ram and Deepak Vijaykeerthy and Djallel Bouneffouf and Gregory Bramble and Horst Samulowitz and Dakuo Wang and Andrew Conn and Alexander Gray},
journal= {arXiv preprint arXiv:1905.00424},
year = {2019}
}