带硬间隔损失的稀疏SVM：降维下的牛顿增广拉格朗日方法
最优化与控制
2023-08-01 v1
摘要
硬间隔损失函数因其泛化能力，从一开始就是支持向量机（SVM）研究的核心。另一方面，基数约束因能导出稀疏解而被广泛用于特征选择。本文研究结合二者优点的带硬间隔损失的稀疏SVM（SSVM-HM）。然而，SSVM-HM是最难求解的模型之一。本文将问题表述为带基数约束的复合优化，用能很好刻画问题组合结构的 {\rm P}-平稳性刻画其局部极小点。随后我们提出一种非精确近端增广拉格朗日方法（iPAL）。来自 {\rm P}-平稳性的不同非精确度量以不同尺度受控，使生成的序列既全局收敛又具线性收敛率，这与复合优化的最佳收敛理论相符。为使iPAL实用高效，我们针对iPAL子问题提出子空间中的梯度-牛顿法，借助硬间隔损失的近端算子与基数约束的投影来检测活跃样本与特征。在模拟与真实数据集上的大量数值结果表明，所提方法快速、产生高精度的稀疏解，且相较若干领先求解器能切实减少活跃样本与特征。
引用
@article{arxiv.2307.16281,
title = {Sparse SVM with Hard-Margin Loss: a Newton-Augmented Lagrangian Method in Reduced Dimensions},
author = {Penghe Zhang and Naihua Xiu and Hou-Duo Qi},
journal= {arXiv preprint arXiv:2307.16281},
year = {2023}
}