EARL-BO：用于多步前瞻高维贝叶斯优化的强化学习
机器学习
2026-04-24 v2 最优化与控制
摘要
为避免短视行为，多步前瞻贝叶斯优化（BO）算法考虑BO的序列性质，并在近年来展示了有前景的结果。然而，由于维数灾难，大多数这些方法做出了重大近似或存在可扩展性问题。本文提出了一种新颖的基于强化学习（RL）的框架，用于高维黑箱优化问题中的多步前瞻BO。所提出的方法通过使用RL高效地求解BO过程的序列动态规划，以近似最优的方式增强了多步前瞻BO的可扩展性和决策质量。我们首先引入了一个Attention-DeepSets编码器，用于向RL智能体表示知识状态，随后提出了一种基于编码器-RL端到端在线学习的多任务微调过程。我们在合成基准函数和超参数调优问题上评估了所提出的方法EARL-BO（用于BO的编码器增强RL），发现与现有的多步前瞻和高维BO方法相比，性能显著提升。
引用
@article{arxiv.2411.00171,
title = {EARL-BO: Reinforcement Learning for Multi-Step Lookahead, High-Dimensional Bayesian Optimization},
author = {Mujin Cheon and Jay H. Lee and Dong-Yeun Koh and Calvin Tsay},
journal= {arXiv preprint arXiv:2411.00171},
year = {2026}
}
备注
2025 International Conference on Machine Learning (ICML). 17 pages, 10 figures