Piyavskii-Shubert 算法及其变体用于全局优化的累积遗憾分析

我们研究全局优化问题，分析 Piyavskii-Shubert 算法及其变体的性能。对于任意给定的时间长度 $T$，我们研究截至时间 $T$ 的累积遗憾，而非已被广泛研究的简单遗憾（即截至 $T$ 的最佳估计与全局最小值之间的损失差）。对于 $L$-Lipschitz 连续函数，我们证明累积遗憾为 $O(L\log T)$。对于 $H$-Lipschitz 光滑函数，我们证明累积遗憾为 $O(H)$。我们将结果解析地推广到具有 Hölder 连续导数的函数，该函数类分别涵盖了 Lipschitz 连续和 Lipschitz 光滑函数。我们进一步证明，对于 Lipschitz 连续或 Lipschitz 光滑函数，Piyavskii-Shubert 算法的一个更简单变体表现与传统变体同样出色。我们进一步将结果扩展到更广泛的函数类，并证明我们的算法能高效确定其查询点；对于目标函数极值上的一般凸甚至凹正则性条件（涵盖了许多先前的正则性），实现了近乎极小极大最优（最多相差对数因子）的累积遗憾。我们通过研究 Piyavskii-Shubert 变体在未知正则性、带噪声评估和多变量域场景下的性能，考虑了进一步的扩展。