OBOE：用于 AutoML 模型选择的协同过滤方法
机器学习
2019-05-22 v2 人工智能
机器学习
摘要
算法选择与超参数调优仍是机器学习中最具挑战性的两项任务。自动化机器学习（AutoML）旨在将这类任务自动化，以使非专家用户也能广泛使用机器学习。本文介绍了 OBOE，一种用于时间约束下模型选择与超参数调优的协同过滤方法。OBOE 构建了大量监督学习模型（算法与超参数组合）在大量数据集上的交叉验证误差矩阵，并拟合一个低秩模型来学习模型和数据集的低维特征向量，以最佳预测交叉验证误差。为在新数据集上寻找有前景的模型，OBOE 在新数据集上运行一组快速但具信息量的算法，并利用其交叉验证误差推断新数据集的特征向量。OBOE 可在拟合模型数量或总时间预算受限的情况下找到良好模型。为此，本文基于最优实验设计提出了一种用于时间约束矩阵补全中主动学习的新启发式方法。我们的实验表明，在监督学习问题测试平台上，OBOE 比竞争方法更快地提供最先进的性能。此外，OBOE 所使用的双线性模型的成功表明，AutoML 可能比先前所理解的更为简单。
引用
@article{arxiv.1808.03233,
title = {OBOE: Collaborative Filtering for AutoML Model Selection},
author = {Chengrun Yang and Yuji Akimoto and Dae Won Kim and Madeleine Udell},
journal= {arXiv preprint arXiv:1808.03233},
year = {2019}
}