面向深度神经网络的层次化零阶优化

零阶（ZO）优化长期以来因其生物学合理性以及能够处理非可微目标而受到青睞，但其计算复杂度历史上限制了其在深度神经网络中的应用。我们挑战了传统认为梯度逐层传播的范式，提出层次化零阶优化（HZO），一种将网络深度维度分解的divide-and-conquer策略。我们证明HZO将查询复杂度从 $O(ML^2)$ 降低到 $O(ML \log L)$，其中网络宽度为 $M$，深度为 $L$，这在现有ZO方法之上代表了巨大进步。此外，我们提供详细的误差分析，表明HZO通过接近单值极限（$L_{lip} \approx 1$）的运作方式保持数值稳定性。对CIFAR-10和ImageNet的广泛评估表明，HZO在准确率上与反向传播相当。