中文

此情可待成追忆:动态贝叶斯优化中移除过时观测

机器学习 2024-10-22 v2 机器学习

摘要

贝叶斯优化(BO)已被证明在优化静态、有噪声、评估代价高的黑箱函数f:SRf : \mathcal{S} \to \mathbb{R}方面非常成功。然而,优化同时也是时间函数(即动态函数)的黑箱f:S×TRf : \mathcal{S} \times \mathcal{T} \to \mathbb{R}仍然是一个挑战,因为动态贝叶斯优化(DBO)算法必须随时间跟踪最优值。这在至少三个方面改变了优化问题的性质:(i) 无法查询S×T\mathcal{S} \times \mathcal{T}中的任意点,(ii) 随着时间的推移,过去的观测对于跟踪最优值的相关性越来越低,(iii) DBO算法必须具有高采样频率,以便收集足够的相关观测来随时间跟踪最优值。在本文中,我们设计了一个基于Wasserstein距离的准则,能够量化观测对未来预测的相关性。然后,我们利用该准则构建了W-DBO,一种能够动态从数据集中移除不相关观测的DBO算法,从而在未知时间范围的连续时间优化任务中同时保持良好的预测性能和高采样频率。数值实验确立了W-DBO的优越性,它以显著优势超越了最先进的方法。

关键词

引用

@article{arxiv.2405.14540,
  title  = {This Too Shall Pass: Removing Stale Observations in Dynamic Bayesian Optimization},
  author = {Anthony Bardou and Patrick Thiran and Giovanni Ranieri},
  journal= {arXiv preprint arXiv:2405.14540},
  year   = {2024}
}