基于迁移学习的超参数调优搜索空间设计
机器学习
2022-06-07 v1 人工智能
摘要
随着机器学习（ML）模型在数据挖掘应用中被广泛使用，超参数的调优变得愈发重要。在各种方法中，贝叶斯优化（BO）是一种自动调优超参数的成功方法。传统方法孤立地优化每个调优任务，而近期有兴趣通过跨以往任务迁移知识来加速 BO。本工作中，我们引入一种借助以往任务的调优历史来设计 BO 搜索空间的自动方法。这一简单而有效的途径可用于赋予许多现有 BO 方法以迁移学习能力。此外，它具有通用性、一般性与安全性三大优点。大量实验表明，我们的方法通过设计有前景且紧凑的搜索空间（而非使用整个空间）显著提升了 BO，并在包括机器学习和深度学习调优任务以及神经架构搜索在内的广泛基准上优于当前最优方法。
引用
@article{arxiv.2206.02511,
title = {Transfer Learning based Search Space Design for Hyperparameter Tuning},
author = {Yang Li and Yu Shen and Huaijun Jiang and Tianyi Bai and Wentao Zhang and Ce Zhang and Bin Cui},
journal= {arXiv preprint arXiv:2206.02511},
year = {2022}
}
备注
9 pages and 2 extra pages for appendix