面向多离散变量的自适应局部贝叶斯优化
机器学习
2020-12-08 v1 机器学习
摘要
在机器学习算法中，超参数的选择往往更多是一门艺术而非科学，需要依赖专家经验进行费力的搜索。因此，实现超参数优化的自动化以排除人工干预具有极大的吸引力，尤其是对于黑盒函数。近来，为了更好地泛化，对解决此类隐藏任务的需求日益增长，尽管任务依赖问题不易解决。黑盒优化挑战赛（NeurIPS 2020）要求参赛者为标准机器学习问题的不同领域构建鲁棒的黑盒优化器。本文以逐步方式描述了 KAIST OSI 团队的方法，其性能优于基线算法达 +20.39%。我们首先在区域可靠性概念下强化局部贝叶斯搜索。然后，我们为高斯过程核设计了一个组合核。类似地，我们结合了贝叶斯与多臂老虎机（MAB）方法，以考虑变量类型来选择取值；实值和整数变量使用贝叶斯，而布尔和类别变量使用 MAB。实证评估表明，我们的方法在不同任务上优于现有方法。
引用
@article{arxiv.2012.03501,
title = {Adaptive Local Bayesian Optimization Over Multiple Discrete Variables},
author = {Taehyeon Kim and Jaeyeon Ahn and Nakyil Kim and Seyoung Yun},
journal= {arXiv preprint arXiv:2012.03501},
year = {2020}
}
备注
workshop at NeurIPS 2020 Competition Track on Black-Box Optimization Challenge