零阶随机梯度估计的信息论下界

本文分析了在零阶随机预言机模型下估计任意多维光滑（可能非凸）函数梯度所需的必要样本数。在该模型中，估计器可访问函数的带噪函数值，以产生梯度估计。我们还给出了有限差分法（数值线性代数中的经典技术）所需充分样本数的分析。对于 $T$ 个样本和 $d$ 维，我们的信息论下界为 $\Omega(\sqrt{d/T})$。我们证明，对于具有零三阶及更高阶导数的函数，在方差有界预言机下有限差分法的速率为 $O(d^{4/3}/\sqrt{T})$。这些速率对高斯预言机是紧的。因此，有限差分法并非极小极大最优，故存在开发更优梯度估计方法的空间。