针对一类非凸非光滑问题的带外推与线搜索的近端梯度法

本文考虑一类在许多当代应用（如机器学习、变量选择以及图像处理）中出现的、可能非凸、非光滑且非 Lipschitz 的优化问题。为求解该类问题，我们提出一种带外推与线搜索的近端梯度法（PGels）。该方法基于一个特殊的势函数发展而来，并成功融合了外推与非单调线搜索这两种简单而高效的近端梯度法加速技术。得益于线搜索，该方法在选取外推参数时具有更大灵活性，并在每次迭代中若某线搜索准则未被满足则自适应更新这些参数。此外，在适当参数选择下，我们的 PGels 可退化为许多现有算法。我们还证明，在若干温和条件下，我们的线搜索准则良定义，且 PGels 所生成序列的任意聚点均为问题的驻点。进一步，通过假设问题中目标的 Kurdyka-${\L}$ojasiewicz 指数，我们分析了 PGels 两种特殊情形的局部收敛速率，其中包括广泛使用的非单调近端梯度法作为一种情形。最后，我们进行了求解 $\ell_1$ 正则化逻辑回归问题与 $\ell_{1\text{-}2}$ 正则化最小二乘问题的数值实验。数值结果说明了 PGels 的高效性，并展示了结合两种加速技术的潜在优势。