面向可扩展贝叶斯优化的梯度信息驱动贝叶斯神经网络
机器学习
2025-08-08 v2 机器学习
摘要
贝叶斯优化是一种广泛用于数据驱动优化的方法，通常依赖于目标函数的零阶数据来构建概率代理模型。这些代理模型指导探索-开发过程以寻找全局最优解。虽然高斯过程（GPs）是用于未知目标函数的常见代理方法，但近期研究表明，贝叶斯神经网络（BNNs）作为可扩展且灵活的替代方案具有潜力。此外，利用可获得的梯度观察改进GPs的贝叶斯优化性能已被证明。然而，在BNN代理中使用梯度仍未被探索。通过利用自动微分，梯度信息可以无缝集成到BNN训练中，从而为贝叶斯优化生成更具信息性的代理模型。我们提出一种用于BNN训练的梯度信息损失函数，有效地将函数观察与局部梯度信息相结合。在多个著名基准测试中，我们在BNN预测 accuracy 和贝叶斯优化收敛速度方面均证明了该方法的有效性，特别是在决策变量数量增加时。
引用
@article{arxiv.2504.10076,
title = {Towards Scalable Bayesian Optimization via Gradient-Informed Bayesian Neural Networks},
author = {Georgios Makrygiorgos and Joshua Hang Sai Ip and Ali Mesbah},
journal= {arXiv preprint arXiv:2504.10076},
year = {2025}
}