IQN：一种具有局部超线性收敛速率的增量拟牛顿法
最优化与控制
2017-03-29 v2 机器学习
摘要
考虑了最小化一个可写为一组 个光滑强凸函数之和的目标的问题。此处提出的增量拟牛顿（IQN）方法属于随机与增量方法族，其每次迭代代价与 无关。IQN 迭代是 BFGS 迭代的随机版本，利用记忆来降低随机近似的方差。IQN 的收敛性质弥合了确定性与随机拟牛顿方法之间的鸿沟。确定性拟牛顿方法利用使用目标梯度差近似牛顿步的可能性。它们具有吸引力是因为相对于牛顿法每次迭代计算代价更小，并且在常规正则性假设下达到超线性收敛速率。随机拟牛顿方法利用随机梯度差代替实际梯度差。这使其每次迭代的计算代价与目标函数个数 无关。然而，现有随机拟牛顿方法至多具有次线性或线性收敛。IQN 是首个被证明在最优解局部邻域内超线性收敛的随机拟牛顿方法。IQN 与最先进的增量拟牛顿方法在三个方面不同：(i) 使用变量、梯度和拟牛顿海森近似矩阵的聚合信息以降低梯度和海森近似的噪声。(ii) 通过每个单独函数的泰勒展开来近似，其中线性与二次项相对于同一迭代点求值。(iii) 使用循环方案更新函数以代替随机选择例程。我们利用 IQN 这些基本性质确立了其局部超线性收敛速率。
引用
@article{arxiv.1702.00709,
title = {IQN: An Incremental Quasi-Newton Method with Local Superlinear Convergence Rate},
author = {Aryan Mokhtari and Mark Eisen and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:1702.00709},
year = {2017}
}