面向统计精度的经验风险最小化自适应牛顿法
机器学习
2016-05-26 v1 最优化与控制
摘要
我们考虑大规模数据集的经验风险最小化问题。我们引入 Ada Newton 作为一种自适应算法，它使用具有自适应样本量的牛顿法。Ada Newton 的主要思想是以大于 1 的因子增加训练集的大小，使得当前训练集的最小化变量处于下一个训练集最优参数的局部邻域内。这允许利用牛顿法的二次收敛性质，仅通过一次牛顿法迭代即可达到每个训练集的统计精度。我们从理论和实证上证明，Ada Newton 可以在每次迭代中将训练集大小翻倍，从而通过大约两次遍历数据集即可达到完整训练集的统计精度。
引用
@article{arxiv.1605.07659,
title = {Adaptive Newton Method for Empirical Risk Minimization to Statistical Accuracy},
author = {Aryan Mokhtari and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:1605.07659},
year = {2016}
}