非光滑弱凸有限和耦合复合优化
最优化与控制
2024-09-26 v5 人工智能
机器学习
机器学习
摘要
本文研究一类称为 on-mooth eakly-onvex inite-sum oupled ompositional ptimization(NSWC FCCO)的新型复合优化问题。由于 FCCO 在机器学习和 AI 中的广泛应用,以及其解决基于经验风险最小化的随机算法缺陷的能力,人们对 FCCO 的兴趣日益增长。然而,当前 FCCO 研究假定内外函数均光滑,限制了其处理更多样问题的潜力。我们的研究通过考察非光滑弱凸 FCCO 扩展了该领域,其中外函数弱凸且非减,内函数弱凸。我们分析了一种单循环算法,并确立了其寻找目标函数 Moreau 包络的 -驻点的复杂度。此外,我们还将算法推广至求解新颖的非光滑弱凸三层有限和耦合复合优化问题,其具有三个函数的嵌套排列。最后,我们利用实证研究探讨了所提算法在深度学习中双向部分 AUC 最大化和多示例双向部分 AUC 最大化中的应用,展示了所提算法的有效性。
引用
@article{arxiv.2310.03234,
title = {Non-Smooth Weakly-Convex Finite-sum Coupled Compositional Optimization},
author = {Quanqi Hu and Dixian Zhu and Tianbao Yang},
journal= {arXiv preprint arXiv:2310.03234},
year = {2024}
}