双向信息流 (BIF) —— 贝叶斯优化中高效的分层高斯过程
机器学习
2025-08-20 v2
摘要
分层高斯过程 (H-GP) 模型将问题划分为不同子任务，允许为每个部分采用不同模型，因而适用于具有内在层次结构的问题。然而，典型的 H-GP 模型未充分利用这种结构，仅单向传递信息，导致样本效率受限，收敛速度减慢。我们提出双向信息流 (BIF)，一种高效的 H-GP 框架，建立了 H-GP 中父模型与子模型之间的双向信息交换，以实现在线训练。BIF 保留了分层模型的模块化结构——父模型综合子模型 GPs 的知识——同时引入自上而下的反馈机制，在在线学习期间持续细化子模型。这种相互交换提高了样本效率，实现稳健训练，并允许模块化复用已学习的子任务模型。在合成数据和真实世界的神经刺激优化任务上，BIF 相较于常规 H-GP 贝叶斯优化方法实现了父模型和子模型分别最高提升至 4 倍和 3 倍的 分数。
引用
@article{arxiv.2505.11294,
title = {Bidirectional Information Flow (BIF) -- A Sample Efficient Hierarchical Gaussian Process for Bayesian Optimization},
author = {Juan D. Guerra and Thomas Garbay and Guillaume Lajoie and Marco Bonizzato},
journal= {arXiv preprint arXiv:2505.11294},
year = {2025}
}