结构化凸四次函数的快速最小化

我们提出了更快的方法来无约束优化结构化凸四次函数，这些函数是如下形式的凸函数：\begin{equation*} f(x) = c^\top x + x^\top \mathbf{G} x + \mathbf{T}[x,x,x] + \frac{1}{24} \mathopen\| \mathbf{A} x \mathclose\|_4^4 \end{equation*} 其中 $c \in \mathbb{R}^d$，$\mathbf{G} \in \mathbb{R}^{d \times d}$，$\mathbf{T} \in \mathbb{R}^{d \times d \times d}$，且 $\mathbf{A} \in \mathbb{R}^{n \times d}$ 满足 $\mathbf{A}^\top \mathbf{A} \succ 0$。特别地，我们展示了如何仅通过调用 $O(n^{1/5}\log^{O(1)}(\mathcal{Z}/\epsilon))$ 次梯度预言机和线性系统求解器，即可获得此类函数的 $\epsilon$-最优最小化解，其中 $\mathcal{Z}$ 是一个依赖于问题的参数。我们的工作将关于高效张量方法和高阶加速技术的最新思想扩展到为优化相关四次函数开发一种下降方法。作为我们方法的自然结果，当 $\mathbf{A}^\top \mathbf{A} \succ 0$ 时，对于 $\ell_4$-回归问题，我们实现了调用 $O(n^{1/5}\log^{O(1)}(\mathcal{Z} / \epsilon))$ 次梯度预言机和（稀疏）线性系统求解器的总成本，为一般 $\ell_p$-回归可能实现的目标提供了额外见解。我们的结果表明，将高效的高阶方法与最新的加速技术相结合，对于改善基础凸优化问题收敛速率的益处。