Lipschitz 最小化与 Goldstein 模

Goldstein 于 1977 年提出的用于最小化 Lipschitz 目标函数的理想化迭代法固定了一个距离——即步长——并依赖于某个近似次梯度。该“Goldstein 次梯度”是在距当前迭代点该距离范围内的各点处目标梯度的最短凸组合。近期一种可实现的 Goldstein 型算法允许进行出色的复杂度分析（Zhang 等，2020），而一种更复杂的变体（Davis 和 Jiang，2022）则利用典型的目标函数几何性质来迫使近线性收敛。为了探索此类方法，我们引入了一个基于 Goldstein 次梯度的新模，它能够稳健地度量 Lipschitz 函数的斜率。我们将 Goldstein 型方法的近线性收敛与该模在极小值点处的线性增长联系起来。我们通过一种简单的 Lipschitz 最小化启发式方法对该思想进行了计算说明。