利用保形分位数回归优化超参数
机器学习
2023-05-08 v1 机器学习
摘要
许多最先进的超参数优化（HPO）算法依赖于基于模型的优化器，这些优化器学习目标函数的代理模型以引导搜索。高斯过程是因能刻画不确定性而成为事实上的代理模型，但其对观测噪声做了强假设，而实践中未必成立。在本工作中，我们提出利用保形化分位数回归（conformalized quantile regression），该方法对观测噪声做极小假设，因而以更真实且鲁棒的方式建模目标函数，从而在经验基准上转化为更快的 HPO 收敛。为在多保真度设定下应用我们的方法，我们提出了一种简单而有效的技术，跨不同资源层级聚合观测结果，并在许多经验任务上优于常规方法。
引用
@article{arxiv.2305.03623,
title = {Optimizing Hyperparameters with Conformal Quantile Regression},
author = {David Salinas and Jacek Golebiowski and Aaron Klein and Matthias Seeger and Cedric Archambeau},
journal= {arXiv preprint arXiv:2305.03623},
year = {2023}
}