基于有限差分的无导数信任域方法用于复合非光滑优化：TRFD

本文提出 TRFD，一种基于有限差分的无导数信任域方法，用于最小化形式为 $f(x)=h(F(x))$ 的复合函数,其中 $F$ 是假设具有 Lipschitz 连续雅可比的黑盒函数,而 $h$ 是已知的凸 Lipschitz 函数,可能非光滑。该方法通过前向有限差分逼近 $F$ 的雅可比。我们给出 TRFD 求解 $\epsilon$ -近似 stationary 点的评估次数的上界。对于 L1 和 Minimax 问题,我们显示 TRFD 的特定实例的复杂度上界简化为 $\mathcal{O}(n\epsilon^{-2})$，其中 $n$ 为问题的变量数。假设 $h$ 为单调的且 $F$ 的分量为凸函数,我们也建立了最坏情况复杂度界,其对 Minimax 问题简化为 $\mathcal{O}(n\epsilon^{-1})$。提供数值结果以说明 TRFD 在与现有无导数求解器相比,在复合非光滑优化中具有相对更高的效率。