使用基于半光滑牛顿的增广拉格朗日方法求解 OSCAR 与 SLOPE 模型
最优化与控制
2018-03-29 v1
摘要
用于回归的八边形收缩与聚类算法（OSCAR）配备 -范数和成对 -范数正则化器，是高维数据分析中特征选择与分组的实用工具。由于所涉及正则化器的非光滑性和不可分离性，OSCAR 在高维和/或大数据样本量下带来的计算挑战尚未得到很好解决。在本文中，我们提出一种稀疏的基于半光滑牛顿的增广拉格朗日方法来求解更一般的 SLOPE（排序 L-范数惩罚估计）模型，从而成功解决了这一数值挑战。通过适当利用增广拉格朗日子问题中半光滑牛顿系统的广义雅可比矩阵的固有稀疏与低秩性质，我们展示了如何大幅降低计算复杂度。我们的算法在高维统计回归设定中具有显著优势。我们在真实数据集上进行了数值实验，结果表明我们的算法在速度和鲁棒性上均远优于现有的基于一阶迭代方案的最优算法，包括广泛使用的加速近端梯度（APG）方法和交替方向乘子法（ADMM）。
引用
@article{arxiv.1803.10740,
title = {Solving the OSCAR and SLOPE Models Using a Semismooth Newton-Based Augmented Lagrangian Method},
author = {Ziyan Luo and Defeng Sun and Kim-Chuan Toh and Naihua Xiu},
journal= {arXiv preprint arXiv:1803.10740},
year = {2018}
}