在球内思考:极大损失的最小化近最优算法
最优化与控制
2021-05-06 v1 数据结构与算法
机器学习
摘要
我们刻画了针对凸的 Lipschitz 函数 最小化 的复杂度。对于非光滑函数,现有方法需要 次一阶预言机查询以计算一个 -次优点,若 是 -光滑的则需要 次查询。我们开发了复杂度界改进的算法:非光滑情形下为 ,在 -光滑情形下为 。我们的方法由一个近期提出的球优化预言机加速算法(我们对其做了改进)以及针对 softmax 函数的该预言机的细致实现组成。我们还证明了一个预言机复杂度下界为 ,表明我们对 的依赖在多项式对数因子内是最优的。
引用
@article{arxiv.2105.01778,
title = {Thinking Inside the Ball: Near-Optimal Minimization of the Maximal Loss},
author = {Yair Carmon and Arun Jambulapati and Yujia Jin and Aaron Sidford},
journal= {arXiv preprint arXiv:2105.01778},
year = {2021}
}