面向带Logistic损失SVC双层超参数优化的快速光滑牛顿法
最优化与控制
2023-08-21 v2
摘要
带Logistic损失的支持向量分类（SVC）在标签值不连续的分类问题中具有优良的理论性质。本文将带Logistic损失的SVC超参数选择重新表述为一个双层优化问题，其中上层问题和下层问题均基于Logistic损失。所得双层优化模型基于下层问题的KKT条件转化为单层非线性规划（NLP）问题。该NLP包含一组非线性等式约束和一个简单的下界约束。刻画了二阶充分条件，保证了严格局部优化器的获得。为求解该NLP，我们应用\cite{Liang}中提出的光滑牛顿法求解包含一对互补约束的KKT条件。我们证明了该光滑牛顿法具有超线性收敛速率。大量数值结果验证了所提方法的效率，并且严格局部极小化器在数值和理论上均可达到。特别地，与其他方法相比，我们的算法在消耗更少时间的同时能取得有竞争力的结果。
引用
@article{arxiv.2308.07734,
title = {A Fast Smoothing Newton Method for Bilevel Hyperparameter Optimization for SVC with Logistic Loss},
author = {Yixin Wang and Qingna Li},
journal= {arXiv preprint arXiv:2308.07734},
year = {2023}
}
备注
27 pages