随机与方差缩减三次牛顿方法的统一收敛理论

我们研究用于求解一般可能非凸最小化问题的随机三次牛顿方法。我们提出了一个新框架，称之为辅助框架（helper framework），它提供了配备全局复杂度保证的随机与方差缩减二阶算法的统一视角。它也可应用于带辅助信息的学习。我们的辅助框架为算法设计者提供了构建和分析随机三次牛顿方法的高度灵活性，允许任意大小的批量，以及使用梯度和海森矩阵的有噪声且可能有偏的估计，同时结合了方差缩减和惰性海森更新。在弱噪声假设下，我们恢复了随机与方差缩减三次牛顿的最佳已知复杂度。我们理论的一个直接结果是新的惰性随机二阶方法，它显著改善了大维度问题的算术复杂度。我们还建立了包含凸和强凸问题的梯度主导目标函数类的复杂度界。对于辅助学习，我们表明若给定相似性度量较小，使用辅助函数（helper）可以优于单独训练。