用于超参数优化的可迁移神经过程

自动化机器学习旨在将机器学习的整个流程自动化，包括模型配置。本文关注基于序贯模型优化（SMBO）的自动化超参数优化（HPO）。尽管传统 SMBO 算法在拥有大量 HPO 试验时表现良好，但在实际应用中远不能令人满意——在海量数据集上的单次试验可能代价极高，因而期望以尽可能少的试验返回最优超参数配置。观察到人类专家通过尝试曾在其他数据集上表现良好的配置来借鉴其在机器学习模型上的经验，我们受此启发，通过迁移来自其他数据集上的历史 HPO 试验知识来加速 HPO。我们提出了一种端到端且高效的 HPO 算法，称为迁移神经过程（TNP），它通过纳入其他数据集上的试验、以良好泛化参数初始化模型以及学习一组待评估的初始超参数来实现迁移学习。在大量 OpenML 数据集和三个计算机视觉数据集上的实验表明，所提模型能以至少少一个数量级的试验达到最先进的性能。