中文

结构化分数最小化的 ADMM

最优化与控制 2025-04-01 v2 机器学习 数值分析 数值分析

摘要

本文研究一类结构化分数最小化问题。分子由一个可微函数、一个简单非凸非光滑函数、一个凹非光滑函数以及一个与线性算子复合的凸非光滑函数组成。分母是一个连续函数,要么是弱凸,要么其平方根是弱凸。这类问题在机器学习和数据科学的各种重要应用中普遍存在。现有方法主要基于次梯度法和平滑近端梯度法,往往面临收敛缓慢和数值稳定性问题。本文提出 {\sf FADMM},即首个专为这类问题设计的交替方向乘子法。{\sf FADMM} 将原问题解耦为线性化近端子问题,包含两种变体:一种采用 Dinkelbach 参数法 ({\sf FADMM-D}),另一种采用二次变换法 ({\sf FADMM-Q})。通过引入一个新颖的 Lyapunov 函数,我们证明了 {\sf FADMM} 能在 O(1/ϵ3)\mathcal{O}(1/\epsilon^{3}) 的预言机复杂度内收敛到问题的 ϵ\epsilon-近似临界点。在合成和真实数据集上的大量实验,包括稀疏 Fisher 判别分析、鲁棒夏普比率最小化和鲁棒稀疏恢复,验证了该方法的有效性。

关键词

引用

@article{arxiv.2411.07496,
  title  = {ADMM for Structured Fractional Minimization},
  author = {Ganzhao Yuan},
  journal= {arXiv preprint arXiv:2411.07496},
  year   = {2025}
}