基于无感随机投影的统一零阶优化框架

我们提出了一种新的零阶优化(ZOO)分析框架，从“无感随机投影”的视角进行研究。在该框架中，零阶优化中常用的梯度估计器，如有限差分(FD)和随机有限差分(RFD)，通过一种通用的基于草图的公式进行统一。通过引入无感随机投影的概念，我们表明，通过适当选择草图矩阵，可以显著降低RFD估计的高方差，从而实现ZOO的“高概率”收敛保证，这在现有RFD分析中几乎不存在。我们在凸二次目标上实现该框架，推导出达到$\epsilon$次优解的查询复杂度为$\tilde{\mathcal{O}}(\mathrm{tr}(A)/L \cdot L/\mu\log\frac{1}{\epsilon})$，其中$A$为Hessian矩阵，$L$为$\lambda_{max}(A)$，$\mu$为强凸参数。该复杂度在$A$特征值快速衰减时，显著小于标准查询复杂度${\cO}(d\cdot L/\mu \log\frac{1}{\epsilon})$，后者对问题维度线性依赖。这些优势自然推广到更一般的情形，包括强凸和Hessian感知优化。总体而言，本工作提供了一种基于草图的ZOO新视角，解释了为何以及何时RFD类方法可实现一般光滑问题中的“弱维度无关”收敛，为ZOO提供了理论基础和实际意义。