关于非强凸优化的随机与确定性拟牛顿方法：渐近收敛与速率分析

受大规模优化与机器学习应用的启发，我们考虑用于求解无约束凸优化问题的随机拟牛顿（SQN）方法。SQN 方法（包括全内存和有限内存变体）的收敛性分析要求目标函数为强凸。然而，该假设相当受限，且对于诸如最小化逻辑回归损失函数等应用并不成立。据我们所知，目前在此假设缺失的情况下，尚无针对 SQN 方法的收敛速率结论。此外，在现有处理仅凸目标随机优化问题的一阶方法中，那些具备可证明收敛速率的方法采用了平均化。然而，该平均化技术对诱导稀疏性有不利影响。受这些差距的推动，本文的主要贡献如下：（i）针对大规模随机优化问题，我们提出了一种迭代正则化随机有限内存 BFGS（IRS-LBFGS）算法，其中步长、正则化参数和 Hessian 逆近似矩阵被迭代更新。我们建立了在几乎必然和均值意义上收敛到原始问题的最优解。我们推导了基于目标函数值的收敛速率，并证明其阶为 $\mathcal{O}\left(k^{-\left(\frac{1}{3}-\epsilon\right)}\right)$，其中 $\epsilon$ 为任意小的正数；（ii）在确定性情形下，我们证明了正则化有限内存 BFGS 算法展现出的速率阶为 $\mathcal{O}\left(\frac{1}{k^{1 -\epsilon'}}\right)$，其中 $\epsilon'$ 为任意小的正数。我们给出了在大规模文本分类问题上进行的数值实验。