一种用于连续超参数优化的 Lipschitz 赌博机方法

机器学习中最关键的问题之一是超参数优化（HPO），因为超参数的选择对最终模型性能有显著影响。尽管已有许多 HPO 算法，它们要么缺乏理论保证，要么需要强假设。为此，我们提出 BLiE——一种基于 Lipschitz 赌博机的 HPO 算法，仅假设目标函数的 Lipschitz 连续性。BLiE 利用目标函数的地形在超参数空间中自适应搜索。理论上，我们证明：(i) BLiE 以 $\mathcal{O} \left( \epsilon^{-(d_z + \beta)}\right)$ 的总预算找到 $\epsilon$-最优超参数，其中 $d_z$ 与 $\beta$ 为问题内禀量；(ii) BLiE 高度可并行化。在实验上，我们证明 BLiE 在基准任务上优于最先进的 HPO 算法。我们还将 BLiE 应用于搜索扩散模型的噪声调度。与默认调度相比，BLiE 调度大幅提升了采样速度。