不定近端梯度法

我们引入了一种近端梯度法的变体，其中二次项是对角但可能不定的，并由信赖域保护。我们的方法是 arXiv:2103.15993v3 的近端拟牛顿信赖域方法的特例。我们给出了在某些非光滑项可分离且信赖域由无穷范数定义的情况下的步长计算的闭式解，从而无需迭代子问题求解器。我们的分析扩展了 arXiv:2103.15993v3 的分析，将信赖域方法推广到具有边界约束的问题。我们提供了一种高效的开源实现，名为 TRDH，使用 Julia 语言编写，其中 Hessian 近似由对角拟牛顿更新给出。TRDH 每次迭代计算一个标准近端算子和一个不定近端算子。我们还分析并实现了一种名为 iTRDH 的变体，每次迭代仅执行一次不定近端算子评估。我们确定 iTRDH 具有与 TRDH 相同的渐近最坏情况迭代复杂度。我们报告了在无约束和边界约束问题上的数值经验，其中 TRDH 和 iTRDH 既用作独立求解器也用作子问题求解器。我们的结果表明，作为独立求解器，TRDH 和 iTRDH 在光滑目标值和梯度评估方面优于二次正则化方法 R2（arXiv:2103.15993v3）但有时也优于其拟牛顿信赖域方法（此处称为 TR-R2）。在具有挑战性的非负矩阵分解、二分类和数据拟合问题上，在 TR 内用作子问题求解器的 TRDH 和 iTRDH 对于至少一种对角近似的选择优于 TR-R2。