爬山算法何时在单调函数上失效：一个熵压缩论证

爬山是任何优化算法的重要组成部分。伪布尔函数 $f: \{0,1\}^n \to \mathbb{R}$ 上爬山算法的一个重要基准是(严格)单调函数，令人惊讶的是大量爬山算法在其上效率低下。例如，$(1+1)$-进化算法是一种标准爬山算法，每轮以概率 $c/n$ 独立翻转每一比特。或许令人惊讶，该算法呈现相变：若 $c<1$ 则以拟线性时间优化任意单调伪布尔函数，但存在单调函数使若 $c>2.2$ 算法需指数时间。但迄今尚不清楚阈值是否在 $c=1$。本文展示如何将 Moser 的熵压缩论证适配于该情形，即我们表明长运行时间将允许我们以少于其熵的比特数编码算法的随机步骤。因而存在 $c_0 > 1$ 使得对所有 $0<c\le c_0$，速率为 $c/n$ 的 $(1+1)$-进化算法在期望中以 $O(n \log^2 n)$ 步找到最优值。