带贪心选择的块 cubic Newton法

提出一种用于无约束目标函数最小化的二阶块坐标下降方法，该目标函数的 Hessian矩阵具有 Lipschitz 连续性。在每一步迭代中，根据贪心（高斯-南威尔）规则选择变量块，该规则考虑一阶stationarity违规的程度，然后计算该变量块的一个近似最小值的 cubic 模型以进行块更新。在本方案中，变量块无需具有预定义的结构，其大小可以在迭代过程中变化。对于非凸目标函数，本文证明了收敛到平稳点的全局收敛性，并提供了最坏情况的迭代复杂度分析。具体而言，给定容忍度 $\epsilon$，我们证明最多需要 {\cal O(\epsilon^{-3/2}) 次迭代即可使所选变量块的stationarity违规低于 $\epsilon$，而最多需要 {\cal O(\epsilon^{-2}) 次迭代即可使所有变量的stationarity违规低于 $\epsilon$。最后给出数值结果，将所提方法与其他二阶方法和块选择规则进行比较。