用于自动化机器学习的自适应贝叶斯线性回归

为了解决机器学习问题，通常需要进行数据预处理、建模和超参数调优，这被称为模型选择与超参数优化。自动化机器学习（AutoML）的目标是设计能够针对给定数据集自动执行模型选择与超参数优化而无需人工干预的方法。在本文中，我们提出了一种元学习方法，该方法通过利用从先前实验中收集的元数据，从预定义的候选流水线集合中为监督分类数据集高效地搜索高性能机器学习流水线。更具体地说，我们的方法将带有神经网络基函数的自适应贝叶斯回归模型与来自贝叶斯优化的采集函数相结合。该自适应贝叶斯回归模型能够捕获先前元数据的知识，从而对机器学习流水线在新数据集上的性能做出预测。随后利用采集函数基于这些预测来引导可能流水线的搜索。实验表明，我们的方法能够快速为一系列测试数据集识别出高性能流水线，并且优于基线方法。