求解凸有限和耦合复合优化的一种近最优单循环随机算法
最优化与控制
2025-07-22 v6 机器学习
摘要
本文研究了一类凸有限和耦合复合优化（cFCCO）问题，其应用包括群分布鲁棒优化（GDRO）和不平衡数据学习。为了更好地解决这些问题，我们引入了一种高效的单循环原始-对偶块坐标随机算法，称为ALEXR。该算法对对偶变量采用带外推的块坐标随机镜像上升更新，对原始变量采用随机近端梯度下降更新。我们在所涉函数的光滑与非光滑条件下，建立了ALEXR在凸和强凸情况下的收敛速率，这不仅改进了先前关于光滑cFCCO问题的最佳速率，而且扩展了cFCCO求解更具挑战性的非光滑问题的适用范围，例如GDRO的对偶形式。最后，我们推导了复杂度下界，证明了ALEXR在求解cFCCO的一大类随机算法中的（近）最优性。在GDRO和部分ROC曲线下面积（pAUC）最大化上的实验结果展示了我们算法的优异性能。
关键词
引用
@article{arxiv.2312.02277,
title = {A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization},
author = {Bokun Wang and Tianbao Yang},
journal= {arXiv preprint arXiv:2312.02277},
year = {2025}
}
备注
In ICML 2025