跨开发者调整的超参数迁移
机器学习
2020-10-27 v1 人工智能
摘要
在开发者对机器学习(ML)算法进行调整之后,如何自动利用旧的超参数优化(HPO)结果来加速新的 HPO?这一问题构成了一个具有挑战性的难题,因为开发者的调整可能改变哪些超参数设置表现良好,甚至改变超参数搜索空间本身。尽管现有许多方法利用先前任务中获得的知识,但迄今为止,来自先前开发步骤的知识仍完全未被发掘。在本工作中,我们弥补这一空白并提出一个新的研究框架:跨调整超参数迁移(HT-AA)。为该研究框架奠定坚实基础,我们提供了四种简单的 HT-AA 基线算法以及八个改变 ML 算法各方面、其超参数搜索空间及所用神经架构的基准。最佳基线在平均情况下,取决于新旧 HPO 的预算,比无迁移的知名 HPO 算法快 1.2--2.6 倍达到给定性能。由于 HPO 是 ML 开发中的关键步骤但需要大量计算资源,这一加速将带来更快的开发周期、更低的成本和减少的环境影响。为使 ML 开发者能够开箱即用地获得这些益处并促进未来对 HT-AA 的研究,我们提供了基线算法与基准的 python 软件包。
引用
@article{arxiv.2010.13117,
title = {Hyperparameter Transfer Across Developer Adjustments},
author = {Danny Stoll and Jörg K. H. Franke and Diane Wagner and Simon Selg and Frank Hutter},
journal= {arXiv preprint arXiv:2010.13117},
year = {2020}
}