从随机搜索到度量测度空间中的赌博机学习

随机搜索是超参数优化中应用最广泛的方法之一，对深度学习模型的成功至关重要。尽管其性能惊人，但鲜有非启发式的理论来描述其底层工作机制。本文对随机搜索进行了理论阐释。我们引入了描述底层函数景观并量化随机搜索性能的“散射维数”(scattering dimension)概念。我们证明，在无噪声环境下，随机搜索的输出以概率收敛到最优值的速率为 $\widetilde{\mathcal{O}} \left( \left( \frac{1}{T} \right)^{ \frac{1}{d_s} } \right)$，其中 $d_s \ge 0$ 为底层函数的散射维数。当观测函数值受到有界 $iid$ 噪声干扰时，随机搜索的输出以概率收敛到最优值的速率为 $\widetilde{\mathcal{O}} \left( \left( \frac{1}{T} \right)^{ \frac{1}{d_s + 1} } \right)$。此外，基于随机搜索原理，我们提出了一种称为 BLiN-MOS 的算法，用于兼具概率测度的倍增度量空间中的 Lipschitz 赌博机(Lipschitz bandits)，并证明在温和条件下，BLiN-MOS 达到 $\widetilde{\mathcal{O}} \left( T^{ \frac{d_z}{d_z + 1} } \right)$ 阶的悔值(regret)率，其中 $d_z$ 为问题实例的缩放维数(zooming dimension)。