原生贝叶斯优化在高维问题中表现优异
机器学习
2024-12-13 v5 机器学习
摘要
高维问题一直被认为是贝叶斯优化算法的阿喀琉斯之踵。受维数灾难的驱使，大量算法旨在使其在此设定下更具性能，通常通过对目标施加各种简化假设来实现。在本文中，我们识别了使原生贝叶斯优化不适合高维任务的退化现象，并进一步展示了现有算法如何通过降低模型复杂度的视角来解决这些退化现象。此外，我们提出了一种对原生贝叶斯优化算法中典型的先验假设的增强方法，该方法将复杂度降低至可控水平，而无需对目标施加结构性限制。我们的修改——即高斯过程长度尺度先验随维度的简单缩放——表明标准贝叶斯优化在高维问题中的效果比先前认为的要好得多，在多个常被考虑的真实世界高维任务上明显优于现有的 SOTA 算法。
引用
@article{arxiv.2402.02229,
title = {Vanilla Bayesian Optimization Performs Great in High Dimensions},
author = {Carl Hvarfner and Erik Orm Hellsten and Luigi Nardi},
journal= {arXiv preprint arXiv:2402.02229},
year = {2024}
}