面向贝叶斯优化的强化少样本采集函数学习

贝叶斯优化（BO）传统上依赖手工设计的采集函数（AFs）来顺序确定采样点。然而，在实践中已广泛观察到，就遗憾（regret）而言表现最佳的 AF 在不同类型的黑盒函数下可能有显著差异。设计一个能在多种黑盒函数上均取得最佳性能的单一 AF 一直是一项挑战。本文旨在从强化少样本 AF 学习（FSAF）的视角攻克这一挑战。具体而言，我们首先将 AF 的概念与 Q 函数联系起来，并将深度 Q 网络（DQN）视为可微分的替代 AF。尽管将 DQN 与现有少样本学习方法结合是一个自然的想法，但我们发现这种直接组合由于严重的过拟合而表现不佳，而由于需要通用的采样策略，过拟合在 BO 中尤为关键。为此，我们提出一种贝叶斯变体的 DQN，具有如下三个特征：（i）基于 Kullback-Leibler 正则化框架学习 Q 网络作为 AF 的分布。这天然提供了 BO 采样所需的不确定性并缓解过拟合。（ii）对于贝叶斯 DQN 的先验，我们提议使用由现成 AF 诱导的演示策略以获得更好的训练稳定性。（iii）在元层级上，我们利用贝叶斯模型无关元学习（Bayesian model-agnostic meta-learning）的元损失，它作为所提 FSAF 的自然补充。此外，通过对 Q 网络的恰当设计，FSAF 是通用目的的，即它不依赖于输入域的维数与基数。通过大量实验，我们证明 FSAF 在多种合成与真实世界测试函数上取得了与最先进基准相当或更好的遗憾值。