实用且样本高效的零样本 HPO
机器学习
2020-07-28 v1 机器学习
摘要
零样本超参数优化（HPO）是一种简单而有效的迁移学习用法，用于构建一组相互补充的小型超参数（HP）配置列表。也就是说，对于任意给定数据集，其中至少一个预期表现良好。当前获取该列表的技术计算代价高昂，因为它们依赖于在多样化数据集集合与大量随机抽取的 HP 上运行训练任务。这种代价在由于新算法版本或深度网络架构变化导致 HP 空间定期变化的环境中尤为突出。我们概述了现有方法并引入两种处理该问题的新技术。第一种基于代理模型并自适应选择要查询的数据集-配置对。第二种适用于难以寻找、调优和测试代理模型的场景，是一种将 HyperBand 与次模优化相结合的多保真度技术。我们在五个任务（XGBoost、LightGBM、CatBoost、MLP 和 AutoML）上实验基准测试了我们的方法，并显示出在相同训练预算下相比标准零样本 HPO 准确率的显著提升。除贡献新算法外，我们对零样本 HPO 技术进行了广泛研究，得出（1）有益于使用它们的社区的流行算法的默认超参数，（2）用于推进超参数调优研究的海量查找表。
引用
@article{arxiv.2007.13382,
title = {Practical and sample efficient zero-shot HPO},
author = {Fela Winkelmolen and Nikita Ivkin and H. Furkan Bozkurt and Zohar Karnin},
journal= {arXiv preprint arXiv:2007.13382},
year = {2020}
}