高维贝叶斯优化中用于高效信赖域选择的区域期望改进
机器学习
2024-12-17 v1
摘要
现实世界的优化问题通常涉及评估代价高昂的复杂目标函数。虽然基于高斯过程的贝叶斯优化(BO)对应对这些挑战行之有效,但在高维空间中,由于函数评估次数有限导致的性能下降而表现不佳。为了克服这一点,人们采用了诸如降维等简化技术,但这些技术通常依赖于对问题特征的假设,当这些假设不成立时可能表现不佳。基于信赖域的方法避免了此类假设,专注于局部搜索,但有陷入局部最优的风险。在本研究中,我们提出了一种新颖的采集函数——区域期望改进(REI),旨在增强中高维设置下基于信赖域的 BO。REI 识别可能包含全局最优解的区域,在不依赖特定问题特征的情况下提升性能。我们提供了 REI 有效识别最优信赖域的理论证明,并从经验上证明将 REI 纳入基于信赖域的 BO 在中高维现实问题中优于传统 BO 和其他高维 BO 方法。
引用
@article{arxiv.2412.11456,
title = {Regional Expected Improvement for Efficient Trust Region Selection in High-Dimensional Bayesian Optimization},
author = {Nobuo Namura and Sho Takemori},
journal= {arXiv preprint arXiv:2412.11456},
year = {2024}
}
备注
Accepted by AAAI 2025