非凸优化中的零阶随机块坐标型方法

我们研究(约束)非凸(复合)优化问题,其中决策变量向量可拆分为若干变量块。随机块投影是处理此类问题的一种流行技术,因其显著降低了投影带来的计算成本。然而,这一强大方法尚未被提出用于一阶信息不可用、仅能获得零阶信息的情形。本文提出发展不同类别的零阶随机块坐标型方法。针对无约束非凸优化问题,提出零阶块坐标下降(ZS-BCD)方法。对于复合优化,我们建立了零阶随机块镜像下降(ZS-BMD)及其相关的两阶段方法,以达到寻找$(\epsilon,\Lambda)$-解的复杂度界。此外,我们还建立了用于非凸(复合)优化的零阶随机块坐标条件梯度(ZS-BCCG)方法。通过实施ZS-BCCG方法,在每次迭代中,仅需在随机块上求解(近似)线性规划子问题,而非像现有传统随机逼近方法那样在整个决策空间上求解代价高昂的投影子问题。随后,提出了一种近似ZS-BCCG方法及其对应的两阶段ZS-BCCG方法。这也是首次提出两阶段BCCG方法以达到非凸复合优化问题的$(\epsilon, \Lambda)$-解。据我们所知,本文所提结果在随机非凸(复合)优化文献中是新的。