求解 L1 正则化逻辑回归解路径的对偶牛顿近端点算法
最优化与控制
2023-10-31 v1
摘要
L1 正则化逻辑回归是数据分类中广泛使用的统计模型。本文提出一种基于对偶牛顿方法的近端點算法（PPDNA）来求解带偏置项的 L1 正则化逻辑回归问题。PPDNA 的全局与局部收敛性在温和条件下成立。通过充分挖掘问题的二阶稀疏性，可有效降低 PPDNA 中子问题半光滑牛顿（Ssn）算法的计算成本。我们还设计了一种自适应筛除（AS）策略来生成 L1 正则化逻辑回归问题的解路径，其中 AS 策略的每个子问题均由 PPDNA 求解。该策略利用活跃集约束减少问题变量数，从而加速 PPDNA 求解一系列问题。数值实验表明，与若干最先进的二阶算法相比，PPDNA 性能优越，且 AS 策略与 PPDNA 结合生成解路径高效。
引用
@article{arxiv.2310.19353,
title = {Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression},
author = {Yong-Jin Liu and Weimi Zhou},
journal= {arXiv preprint arXiv:2310.19353},
year = {2023}
}