具有非欧几里得近端结构的加速方向搜索

在本文中，我们提出了一种具有非欧几里得近端结构的加速方向搜索方法。我们考虑 $\mathbb{R}^n$ 中的无约束凸优化问题。为简单起见，我们从零点出发。我们预先期望解的 1-范数足够接近其 2-范数。在这种情况下，标准的加速 Nesterov 方向搜索方法可以得到改进。在本文中，我们展示了在这种情况下如何使 Nesterov 方法加快 $n$ 倍（至多相差一个 $\log n$ 因子）。基本思想是使用 Allen-Zhu 和 Orecchia 在 2014 年提出的线性耦合，并在 2-范数下执行梯度步，而在 1-范数下执行镜像步。我们表明，对于约束优化问题，该方法在存在障碍时是稳定的。