HiBBO:基于 HiPPO 的空间一致性高维贝叶斯优化
机器学习
2025-10-13 v1
摘要
贝叶斯优化(BO)是优化昂贵黑箱函数的强大工具,但在高维空间中其有效性会因数据稀疏与代理模型可扩展性差而下降。基于变分自编码器(VAE)的方法通过学习低维潜在表示来应对这一挑战,但基于重构的目标函数常常导致潜在空间与原始空间之间的函数分布失配,从而造成次优的优化性能。本文首先分析了仅使用重构损失可能导致分布失配的原因,然后提出了 HiBBO——一种新颖的 BO 框架,它利用 HiPPO(一种长期序列建模方法)在 VAE 的潜在空间构建中引入空间一致性,以减少潜在空间与原始空间之间的函数分布失配。在高维基准任务上的实验表明,HiBBO 在收敛速度与解的质量上均优于现有的 VAE-BO 方法。我们的工作架起了高维序列表示学习与高效贝叶斯优化之间的桥梁,使更广泛的应用成为可能,包括神经架构搜索、材料科学等。
引用
@article{arxiv.2510.08965,
title = {HiBBO: HiPPO-based Space Consistency for High-dimensional Bayesian Optimisation},
author = {Junyu Xuan and Wenlong Chen and Yingzhen Li},
journal= {arXiv preprint arXiv:2510.08965},
year = {2025}
}