通过算法等价进行非凸在线学习
机器学习
2022-10-14 v2 最优化与控制
摘要
我们研究非凸梯度下降与凸镜像下降之间的一种算法等价技术。我们首先考察在线非凸优化中更难的遗憾最小化问题。我们表明，在一定的几何与平滑性条件下，应用于非凸函数的在线梯度下降，是在重参数化下应用于凸函数的在线镜像下降的一种近似。在连续时间下，Amid 与 Warmuth 2020 已证明该重参数化下的梯度流与连续时间镜像下降完全等价，但相应离散时间算法的理论作为开放问题遗留。我们在此设定下证明非凸在线梯度下降的 遗憾界，回答了该开放问题。我们的分析基于一种新颖且简单的算法等价方法。
引用
@article{arxiv.2205.15235,
title = {Non-convex online learning via algorithmic equivalence},
author = {Udaya Ghai and Zhou Lu and Elad Hazan},
journal= {arXiv preprint arXiv:2205.15235},
year = {2022}
}