遵循顺序:有序迁移超参数优化的提出
机器学习
2023-06-30 v1
摘要
我们提出有序迁移超参数优化(OTHPO),这是超参数优化(HPO)中迁移学习的一个版本,其中任务遵循顺序次序。与最先进的迁移 HPO 不同,其假设是每个任务与紧邻其前的任务相关性最强。这匹配许多部署场景,例如随着更多数据被收集而重新调优超参数;比如随着更多电影和评分的加入而调优一系列电影推荐系统。我们给出形式化定义,概述其与相关问题的区别,并提出一种基础 OTHPO 方法,其优于最先进的迁移 HPO。我们使用十个基准实证展示了考虑顺序的重要性。这些基准处于逐渐累积数据的设置中,涵盖 XGBoost、随机森林、近似 k 近邻、弹性网络、支持向量机以及一个独立的现实动机优化问题。我们开源这些基准以推动未来关于有序迁移 HPO 的研究。
引用
@article{arxiv.2306.16916,
title = {Obeying the Order: Introducing Ordered Transfer Hyperparameter Optimisation},
author = {Sigrid Passano Hellan and Huibin Shen and François-Xavier Aubet and David Salinas and Aaron Klein},
journal= {arXiv preprint arXiv:2306.16916},
year = {2023}
}
备注
To be presented at the AutoML 2023 Workshop Track