全新局面:用于矩阵博弈与平滑函数最大值最小化的原始加速方法
数据结构与算法
2023-11-21 v1 机器学习
最优化与控制
摘要
我们设计了在 维欧氏或单纯形域上最小化 的算法。当每个 为 -Lipschitz 且 -smooth 时,我们的方法使用 次梯度与函数评估以及 的额外运行时间计算出 -近似解。对于大 ,我们的评估复杂度在多项式对数因子内最优。在每个 为线性的特例——对应于在矩阵博弈中寻找近最优原始策略——我们的方法在 运行时间内找到 -近似解。对于 且 ,这优于所有现有一阶方法。当进一步有 时,我们的运行时间也优于所有已知内点法。我们的算法结合了三个新颖基元:(1)一个动态数据结构,可在小 或 球中高效估计随机梯度。(2)一个针对我们数据结构的镜像下降算法,实现在这些球上最小化目标的预言机。(3)一个适用于非欧几何的简单球预言机加速框架。
引用
@article{arxiv.2311.10886,
title = {A Whole New Ball Game: A Primal Accelerated Method for Matrix Games and Minimizing the Maximum of Smooth Functions},
author = {Yair Carmon and Arun Jambulapati and Yujia Jin and Aaron Sidford},
journal= {arXiv preprint arXiv:2311.10886},
year = {2023}
}