大规模凸复合优化中近端拟牛顿算法的自协调平滑
最优化与控制
2025-12-01 v3 机器学习
摘要
我们针对最小化两个凸函数之和的问题引入了一种自协调平滑(self-concordant smoothing)的概念，其中一个函数光滑，另一个非光滑。关键的亮点是所得问题结构的一个自然性质，它产生了一种变度量选择方法以及特别适用于近端拟牛顿算法的步长规则。此外，我们高效地处理了由非光滑项所诱导的特定结构，例如 l1 正则化与组套索(group lasso)惩罚。我们给出了由我们的框架所涵盖的近端拟牛顿方法类的收敛性分析。特别地，在标准假设下，我们对两种算法给出了保证：Prox-N-SCORE(一种近端牛顿法)与 Prox-GGN-SCORE(一种近端广义高斯-牛顿法)。后者使用 Hessian 逆的低秩近似，降低了矩阵求逆的大部分代价，并使其对过参数化机器学习模型有效。在合成与真实数据上的数值实验展示了两种算法相对于最先进方法的效率。一个 Julia 实现公开于 https://github.com/adeyemiadeoye/SelfConcordantSmoothOptimization.jl。
引用
@article{arxiv.2309.01781,
title = {Self-concordant smoothing in proximal quasi-Newton algorithms for large-scale convex composite optimization},
author = {Adeyemi D. Adeoye and Alberto Bemporad},
journal= {arXiv preprint arXiv:2309.01781},
year = {2025}
}