TransBO：基于两阶段迁移学习的超参数优化方法
机器学习
2022-06-07 v1
摘要
随着机器学习模型的广泛应用，自动超参数优化（HPO）变得日益重要。受人类专家调参行为的启发，利用过往HPO任务的辅助知识来加速当前HPO任务是直观的做法。本文提出TransBO，一种新颖的用于HPO的两阶段迁移学习框架，能够同时处理源任务间的互补性以及知识聚合过程中的动态性问题。该框架联合且自适应地提取与聚合源域和目标域知识，其权重可通过原则性方式进行学习。包括静态与动态迁移学习设置以及神经架构搜索在内的广泛实验，证明了TransBO相对于当前最优方法的优越性。
引用
@article{arxiv.2206.02663,
title = {TransBO: Hyperparameter Optimization via Two-Phase Transfer Learning},
author = {Yang Li and Yu Shen and Huaijun Jiang and Wentao Zhang and Zhi Yang and Ce Zhang and Bin Cui},
journal= {arXiv preprint arXiv:2206.02663},
year = {2022}
}
备注
9 pages and 2 extra pages of appendix