关于牛顿筛选法
机器学习
2023-04-24 v3 机器学习
最优化与控制
统计方法学
摘要
筛选与工作集技术是缩减优化问题规模的重要方法。它们已广泛用于加速求解大规模稀疏学习问题的一阶方法。本文发展了一种称为牛顿筛选（NS）的新筛选方法，它是一种带有内置筛选机制的广义牛顿法。我们推导了 Lasso 的等价 KKT 系统，并利用广义牛顿法求解 KKT 方程。基于该 KKT 系统，首先利用前一次迭代生成的原始变量与对偶变量之和确定一个规模相对较小的内置工作集，然后通过求解工作集上的最小二乘问题更新原始变量，并基于闭式表达式更新对偶变量。此外，我们考虑了带热启动策略的牛顿筛选序贯版本（SNS）。我们证明 NS 具有最优收敛性质，即实现一步局部收敛。在特征矩阵的某些正则条件下，我们证明 SNS 以高概率命中与底层真实目标符号相同的解，并达到尖锐的估计误差界。模拟研究与真实数据分析支持了我们的理论结果，并表明在我们的比较研究中 SNS 比几种最先进的方法更快且更准。
引用
@article{arxiv.2001.10616,
title = {On Newton Screening},
author = {Jian Huang and Yuling Jiao and Lican Kang and Jin Liu and Yanyan Liu and Xiliang Lu and Yuanyuan Yang},
journal= {arXiv preprint arXiv:2001.10616},
year = {2023}
}
备注
This paper has fatal mistakes