关于高维非凸稀疏学习 DC 近端牛顿算法的二次收敛性
机器学习
2018-02-16 v3 机器学习
最优化与控制
摘要
我们提出了一种 DC 近端牛顿算法，用于求解高维非凸正则化稀疏学习问题。我们提出的算法将近端牛顿算法与基于凸差（DC）规划的多阶段凸松弛相结合，同时具备强大的计算与统计保证。具体而言，通过利用对稀疏建模结构/假设（即局部受限强凸性和 Hessian 平滑性）的精细刻画，我们证明了在每个凸松弛阶段内，我们提出的算法实现了（局部）二次收敛，并且仅需少数几次凸松弛后，最终就能获得具有最优统计性质的稀疏近似局部最优解。我们提供了数值实验来支持我们的理论。
引用
@article{arxiv.1706.06066,
title = {On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions},
author = {Xingguo Li and Lin F. Yang and Jason Ge and Jarvis Haupt and Tong Zhang and Tuo Zhao},
journal= {arXiv preprint arXiv:1706.06066},
year = {2018}
}
备注
36 pages, 5 figures, 1 table, Accepted at NIPS 2017