关于 GP-UCB 的次线性后悔

在核化赌博机问题中，学习者旨在仅给定按序选取点的含噪评估值的情况下，顺序计算位于再生核希尔伯特空间中的函数的最优值。具体而言，学习者旨在最小化后悔，其为所做选择次优性的度量。可以说最流行的算法是高斯过程上置信界（GP-UCB）算法，其基于未知函数的简单线性估计量采取行动。尽管流行，现有对 GP-UCB 的分析给出次优的后悔率，对许多常用核（如 Matérn 核）无法达到次线性。这引出了长期未决的开放问题：GP-UCB 的现有后悔分析是否已紧，还是可通过更精细的分析技术改进界？本工作中，我们解决该开放问题并表明 GP-UCB 享有近乎最优的后悔。具体而言，我们的结果对 Matérn 核给出次线性后悔率，改进了最先进的分析，并部分解决了 Vakili 等人提出的 COLT 开放问题。我们的改进依赖于一项关键技术贡献——按底层核 $k$ 的光滑度成比例地正则化核岭估计量。将该关键思想与可分离希尔伯特空间中一个被广泛忽视的集中结果（我们给出了独立的简化推导）结合，我们得以对 GP-UCB 算法提供更紧的分析。