更快速的免投影在线学习

在许多在线学习问题中，基于梯度方法的计算瓶颈在于投影操作。因此，在许多问题中，最高效的算法基于 Frank-Wolfe 方法，该方法以线性优化替代投影。然而在一般情况下，在线免投影方法比基于投影的方法需要更多迭代：已知最佳遗憾界尺度为 $T^{3/4}$。尽管对 Frank-Wolfe 方法的各种变体已有大量研究，该界十年来未变。本文给出一种高效的免投影算法，对具有光滑代价函数的通用在线凸优化保证 $T^{2/3}$ 遗憾，且每次迭代仅一次线性优化计算。与以往的 Frank-Wolfe 方法不同，我们的算法使用 Follow-the-Perturbed-Leader 方法导出，并采用在线原始-对偶框架进行分析。