利用低维与自适应数据结构加速Frank-Wolfe算法

在本文中，我们研究加速一类称为Frank-Wolfe的条件梯度优化算法的问题。我们开发并采用了两种新颖的内积搜索数据结构，改进了[Shrivastava, Song and Xu, NeurIPS 2021]中先前最快的算法。* 第一种数据结构使用低维随机投影将问题降维，然后使用高效的内积数据结构。其预处理时间为$\tilde O(nd^{\omega-1}+dn^{1+o(1)})$，每次迭代代价为$\tilde O(d+n^\rho)$，其中$\rho$为小常数。* 第二种数据结构利用了近期自适应内积搜索数据结构的进展，可输出所有内积的估计。其预处理时间为$\tilde O(nd)$，每次迭代代价为$\tilde O(d+n)$。第一种算法在所有情况下均改进了最优现状（预处理时间$\tilde O(d^2n^{1+o(1)})$，每次迭代代价$\tilde O(dn^\rho)$），而第二种提供了更快的预处理时间，并适用于迭代次数较少的情形。