面向成本敏感的多保真贝叶斯优化及学习曲线外推迁移
机器学习
2024-05-29 v1 人工智能
摘要
本文解决了成本敏感的多保真贝叶斯优化（BO）用于高效超参数优化（HPO）的问题。具体而言，我们假设用户希望在性能改进不令人满意且计算成本高时提前停止BO。为此场景，我们引入效用函数——由每个用户预定义，描述BO在成本和性能之间的权衡。该效用函数结合我们新近提出的获取函数和停止准则，使我们能够在每个BO步骤中动态选择预计在未来能最大化提升效用的配置，同时自动在效用最大化附近停止BO。进一步，我们通过迁移学习改进了现有学习曲线（LC）外推方法的样本效率，同时成功捕获不同配置之间的相关性，以开发针对多保真BO的合理代理函数。我们在各种LC数据集上验证了该算法，发现其优于我们所考虑的所有之前的多保真BO和transfer-BO基线，显著改善了成本与BO性能之间的权衡。
引用
@article{arxiv.2405.17918,
title = {Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation},
author = {Dong Bok Lee and Aoxuan Silvia Zhang and Byungjoo Kim and Junhyeon Park and Juho Lee and Sung Ju Hwang and Hae Beom Lee},
journal= {arXiv preprint arXiv:2405.17918},
year = {2024}
}