SCORE：打破贝叶斯优化高维 curse 的 1D 重参数化技巧
机器学习
2024-06-19 v1 机器学习
摘要
贝叶斯优化 (Bayesian optimization, BO) 已成为导航复杂搜索空间的强大工具，展示出在科学和工程领域的实际应用。然而，由于其通常依赖于来近似目标函数的代理模型，BO 在参数和实验数量增加时会面临计算成本的提升。已提出若干方法，如并行化、代理模型近似和内存剪枝，以缩短计算时间，但均未能解决 BO 高维 curse 的核心问题。本文提出一种 1D 重参数化技巧，以打破此 curse 并在高维景观中维持线性时间复杂度。这种名为 SCORE 的快速可扩展方法能够成功找到针needle-in-a-haystack优化函数的全局最小值，并能在不依赖通常所需的高性能计算资源的情况下拟合真实数据。
引用
@article{arxiv.2406.12661,
title = {SCORE: A 1D Reparameterization Technique to Break Bayesian Optimization's Curse of Dimensionality},
author = {Joseph Chakar},
journal= {arXiv preprint arXiv:2406.12661},
year = {2024}
}