用于最小化大量凸函数之和的子采样不精确牛顿法
数值分析
2018-11-15 v1
摘要
本文研究利用子采样函数、梯度与 Hessian 近似的不精确牛顿（IN）方法最小化大量凸函数之和的问题。共轭梯度法用于计算不精确牛顿步，全局收敛由非单调线搜索过程保证。目标是获得计算代价可接受且收敛快速的方法。在假设强凸函数的情况下，当函数与梯度以递增精度近似时，研究了该过程的 R-线性收敛与最坏情况迭代复杂度。导出了一组强迫参数与子采样 Hessian 尺寸的规则，确保所提方法的局部 q-线性/超线性收敛。还考虑了 Hessian 子采样的随机选择，并证明了有限与无限函数之和情形下的均方收敛。最后，将 IN 方法的具有渐近 R-线性率的全局收敛推广到凸函数之和与强凸目标函数的情况。文中还给出了在知名二分类问题上的数值结果。采用由理论分析得出的自适应策略来选择强迫项与 Hessian 子采样尺寸，数值结果表明它们产生了有效的 IN 方法。
引用
@article{arxiv.1811.05730,
title = {Subsampled Inexact Newton methods for minimizing large sums of convex functions},
author = {Stefania Bellavia and Natasa Krejic and Natasa Krklec Jerinkic},
journal= {arXiv preprint arXiv:1811.05730},
year = {2018}
}