结构化分数最小化的 ADMM
最优化与控制
2025-04-01 v2 机器学习
数值分析
数值分析
摘要
本文研究一类结构化分数最小化问题。分子由一个可微函数、一个简单非凸非光滑函数、一个凹非光滑函数以及一个与线性算子复合的凸非光滑函数组成。分母是一个连续函数,要么是弱凸,要么其平方根是弱凸。这类问题在机器学习和数据科学的各种重要应用中普遍存在。现有方法主要基于次梯度法和平滑近端梯度法,往往面临收敛缓慢和数值稳定性问题。本文提出 {\sf FADMM},即首个专为这类问题设计的交替方向乘子法。{\sf FADMM} 将原问题解耦为线性化近端子问题,包含两种变体:一种采用 Dinkelbach 参数法 ({\sf FADMM-D}),另一种采用二次变换法 ({\sf FADMM-Q})。通过引入一个新颖的 Lyapunov 函数,我们证明了 {\sf FADMM} 能在 的预言机复杂度内收敛到问题的 -近似临界点。在合成和真实数据集上的大量实验,包括稀疏 Fisher 判别分析、鲁棒夏普比率最小化和鲁棒稀疏恢复,验证了该方法的有效性。
引用
@article{arxiv.2411.07496,
title = {ADMM for Structured Fractional Minimization},
author = {Ganzhao Yuan},
journal= {arXiv preprint arXiv:2411.07496},
year = {2025}
}