基于深度核代理的少样本贝叶斯优化
机器学习
2021-01-20 v1
摘要
超参数优化（HPO）是机器学习方案自动化中的核心支柱，主要通过贝叶斯优化执行，其中学习一个参数化代理来近似黑盒响应函数（例如验证误差）。不幸的是，评估响应函数在计算上代价高昂。作为补救，早期工作强调需要迁移学习代理，其从其他任务中学习为某算法优化超参数。与先前工作不同，我们提议将 HPO 重新思考为一个少样本学习问题，其中我们训练一个共享深度代理模型以快速适应（借助少量响应评估）到新任务的响应函数。我们提议为高斯过程代理使用深度核网络，该网络以端到端方式元学习，以联合近似一组训练数据集的响应函数。因此，我们深度核代理的新颖少样本优化相较于多种近期方法在多样元数据集上取得了 HPO 的新最优（SOTA）结果。
引用
@article{arxiv.2101.07667,
title = {Few-Shot Bayesian Optimization with Deep Kernel Surrogates},
author = {Martin Wistuba and Josif Grabocka},
journal= {arXiv preprint arXiv:2101.07667},
year = {2021}
}
备注
Published as a conference paper at ICLR 2021