全局利用拟牛顿方法的局部收敛性：自适应样本量方法
最优化与控制
2021-10-28 v2 机器学习
摘要
本文研究拟牛顿方法在求解定义于大型数据集上的经验风险最小化 (ERM) 问题中的应用。传统的确定性和随机拟牛顿方法可用于求解此类问题；然而，已知其全局收敛速率可能不优于一阶方法，且其局部超线性收敛仅出现在学习过程末期。本文采用自适应样本量方案，在整个学习过程中全局利用拟牛顿方法的超线性收敛。所提自适应样本量算法的主要思想是从一小部分数据点开始，在其统计精度内求解对应的ERM问题，然后以几何方式扩大样本量，并将较小集合对应问题的最优解作为求解后续含更多样本ERM问题的初值。我们证明，若初始样本量足够大且使用拟牛顿方法求解每个子问题，则子问题可被超线性快速求解 (至多三次迭代)，因为我们保证迭代点始终停留在拟牛顿方法超线性收敛的邻域内。在各种数据集上的数值实验证实了我们的理论结果并展示了方法的算力优势。
引用
@article{arxiv.2106.05445,
title = {Exploiting Local Convergence of Quasi-Newton Methods Globally: Adaptive Sample Size Approach},
author = {Qiujiang Jin and Aryan Mokhtari},
journal= {arXiv preprint arXiv:2106.05445},
year = {2021}
}